Caving a "cave in" kifejezésből származik, ami szó szerint azt jelenti, hogy "beomlik" vagy "beszakad". Átvitt értelemben azt jelenti, hogy valaki megtörik, feladja a küzdelmet, vagy enged a nyomásnak.
A dalban Rihanna azt énekli: "It's hard to know which one of us is caving" (Nehéz tudni, melyikünk törik meg). Ez a szó a sebezhetőséget és a bizonytalanságot fejezi ki egy nehéz kapcsolatban, ahol mindkét fél a feladás szélén állhat.
Rihanna és Mikky Ekko „Stay” című száma egy igazi érzelmi hullámvasút, ami a szerelem bonyolult oldalát mutatja be. A dal elején a „All along it was a fever / A cold sweat hot-headed believer” [Mindvégig láz volt / Hideg veríték, forrófejű hívő] sorok rögtön megadják az alaphangot: egy intenzív, már-már beteges vonzalomról van szó. Mintha a szerelem egyfajta láz lenne, ami elönti az embert.
Ahogy haladunk előre, a „Something in the way you move / Makes me feel like I can't live without you” [Valami abban, ahogy mozogsz / Azt érzem, nem tudok élni nélküled] sorok tökéletesen leírják azt az érzést, amikor valaki annyira beszippant, hogy el sem tudod képzelni nélküle az életed. Vicces, ahogy a dalban elhangzik: „Funny you're the broken one / But I'm the only one who needed saving” [Vicces, hogy te vagy a törött / De én vagyok az egyetlen, akit meg kellett menteni]. Ez a sor rávilágít arra, hogy néha pont az, aki kívülről erősnek tűnik, szorul a legnagyobb segítségre egy kapcsolatban. A „I want you to stay” [Azt akarom, hogy maradj] refrén pedig mindent elmond: a bizonytalanság ellenére a vágy, hogy a másik maradjon, mindent felülír.