Caving betekent 'toegeven' of 'bezwijken', vaak onder druk of uitputting. Het is een interessant woord omdat het een strijd of een zwakte impliceert.
In de context van het lied vraagt Rihanna zich af wie van hen tweeën het eerst zal bezwijken onder de druk van hun moeilijke relatie: "It's hard to know which one of us is caving." Het geeft een diepere laag aan de emotionele strijd die ze ervaren.
In Rihanna's "Stay" voel je de intense aantrekkingskracht en de verwarring die daarbij komt kijken. Het lied begint met een gevoel van koorts en een geloof dat zo sterk is dat het bijna pijnlijk is: "All along it was a fever / A cold sweat hot-headed believer" [Het was al die tijd koorts / Een koud zweet, heethoofdige gelover]. Het is alsof de zangeres in een wervelwind van emoties zit, heen en weer geslingerd door de aanwezigheid van de ander.
De tekst "Something in the way you move / Makes me feel like I can't live without you" [Iets in de manier waarop je beweegt / Zorgt ervoor dat ik het gevoel heb dat ik niet zonder jou kan leven] laat perfect zien hoe diep de connectie is, zelfs als ze niet zeker weet hoe ze zich erbij voelt. Het is een smeekbede om de ander te laten blijven, ondanks de onzekerheid en de erkenning dat de relatie misschien niet perfect is: "Funny you're the broken one / But I'm the only one who needed saving" [Grappig dat jij de gebrokene bent / Maar ik de enige ben die gered moest worden]. Het lied gaat over die complexe mix van liefde, afhankelijkheid en de strijd om te begrijpen wie wie redt in een relatie.