Caving dolazi od glagola "to cave in", što doslovno znači "urušiti se" ili "propasti".
U kontekstu pjesme, "caving" se koristi metaforički i znači popustiti, odustati ili se predati pod pritiskom. Rihanna pjeva: "It's hard to know which one of us is caving" (Teško je znati tko od nas popušta), opisujući borbu u vezi gdje se oboje bore s vlastitim slabostima i neizvjesnošću.
Ova moćna balada pjevačice s Barbadosa, Rihanne, uvlači nas u vrtlog strastvene i zbunjujuće veze. Pjevačica opisuje ljubav koja je poput groznice, istovremeno vruća i hladna. Stihovi poput "Vrtimo se u krug" dočaravaju osjećaj zarobljenosti u ciklusu emocija, dok priznaje: "Nisam baš sigurna kako se osjećati u vezi toga." Unatoč toj nesigurnosti, postoji neodoljiva privlačnost koja je tjera da se osjeća kao da ne može živjeti bez te osobe.
U središtu pjesme je ranjiva molba: "Želim da ostaneš." Pjesma istražuje složenu dinamiku u kojoj se čini da su obje osobe slomljene. Zanimljivim obratom, pjevačica kaže: "Smiješno je što si ti slomljen, ali ja sam jedina koju je trebalo spasiti." To otkriva duboku emocionalnu ovisnost i zbunjenost oko toga tko koga zapravo spašava u ovoj intenzivnoj vezi.