Caving pochodzi od czasownika "to cave in", co dosłownie oznacza "zapaść się" (jak jaskinia). W kontekście piosenki, "caving" oznacza "poddawanie się" lub "uleganie" presji, trudnościom czy emocjom.
Rihanna śpiewa: "It's hard to know which one of us is caving" (Trudno jest wiedzieć, które z nas się poddaje). Używa tego słowa, aby opisać sytuację, w której obie strony związku zmagają się z problemami, a ona zastanawia się, kto pierwszy ulegnie i podda się trudnościom, zamiast walczyć o związek. To słowo dodaje piosence głębi emocjonalnej.
„Stay” to potężna ballada Rihanny, artystki z Barbadosu, w której gościnnie występuje Mikky Ekko. Piosenka opowiada o skomplikowanej i burzliwej miłości, która jest tak intensywna, że przypomina gorączkę (a fever). Podmiot liryczny czuje się uwięziony w cyklu niepewności i silnego przyciągania, co słyszymy w słowach: „Round and around and around and around we go” (Kręcimy się w kółko).
To nie jest typowa piosenka o miłości. To surowe wyznanie zależności i desperacka prośba o to, by druga osoba została, mimo wszystkich trudności. Zwróć uwagę na poruszający fragment: „Funny you're the broken one / But I'm the only one who needed saving” (Zabawne, że to ty jesteś tym złamanym / Ale to ja jestem jedyną, która potrzebowała ratunku). Te słowa pokazują, jak miłość może być paradoksalna. Chociaż partner wydaje się być tym, który ma problemy, to wokalistka czuje, że bez niego jest zagubiona i to ona potrzebuje ocalenia.