Caving betyr 'å gi etter' eller 'å kollapse', ofte under press eller vanskeligheter. Det er et interessant ord fordi det kan brukes både bokstavelig og metaforisk.
I sangen synger Rihanna: "It's hard to know which one of us is caving." Her brukes det metaforisk for å beskrive hvem av de to som først vil gi opp i forholdet eller under presset de opplever. Det gir en følelse av sårbarhet og kamp.
I denne kraftfulle balladen slår Rihanna, artisten fra Barbados, seg sammen med Mikky Ekko for å utforske et komplisert og intenst forhold. Sangen starter med en følelse av feber og kaldsvette (a fever, a cold sweat), som om kjærligheten er en sykdom. Fortelleren er usikker på følelsene sine (Not really sure how to feel about it), men det er noe med måten den andre personen beveger seg på som skaper en uimotståelig tiltrekning. Det er en svimlende dans, som går rundt og rundt i ring (Round and around and around and around we go).
Kjernen i sangen er en sårbar bønn: I want you to stay. Fortelleren føler at de ikke kan leve uten den andre personen, og at de trenger å fylle et tomrom i seg selv (I need this hole gone). I en interessant vending synger hun: Funny you're the broken one, but I'm the only one who needed saving (Rart at det er du som er ødelagt, men jeg er den eneste som trengte å bli reddet). Dette viser hvor sammenvevd og avhengig forholdet er, der det er uklart hvem som egentlig redder hvem.