Caving tarkoittaa kirjaimellisesti luolaan menemistä, mutta tässä yhteydessä se tarkoittaa 'antautua' tai 'periksi antaa'. Se on mielenkiintoinen tapa kuvata tilannetta, jossa toinen osapuoli antaa periksi paineen alla.
Laulussa Rihanna laulaa: "It's hard to know which one of us is caving" (On vaikea tietää, kumpi meistä antaa periksi). Se kuvaa parisuhteen epävarmuutta ja sitä, kumpi on valmis luopumaan periaatteistaan tai toiveistaan suhteen eteen.
Barbadokselta kotoisin olevan supertähden Rihannan voimakas balladi "Stay" kuvaa myrskyisää ja ristiriitaista suhdetta. Laulun kertoja kuvailee tunteitaan kuin kuumeeksi – "All along it was a fever" – ja myöntää olevansa epävarma siitä, mitä oikein pitäisi ajatella: "Not really sure how to feel about it". Epävarmuudesta huolimatta toisen henkilön läsnäolossa on jotain magneettista ja vastustamatonta, joka saa hänet tuntemaan, ettei voi elää ilman tätä.
Kappaleen ytimessä on syvä haavoittuvuus ja riippuvuus. Kertoja myöntää tarvitsevansa toista täyttämään sisällään olevan tyhjyyden: "'cause I need this hole gone". Lyriikoissa on paradoksi: vaikka toinen henkilö vaikuttaa olevan "rikkinäinen", kertoja tuntee olevansa se, joka todella tarvitsee pelastusta. Tämä luo kuvan monimutkaisesta ja ehkä jopa tuhoisasta suhteesta, jossa molemmat ovat eksyksissä, mutta eivät pysty päästämään irti toisistaan. Laulun yksinkertainen ja epätoivoinen pyyntö "I want you to stay" tiivistää kaiken.