Haunts oznacza 'prześladuje' lub 'nawiedza'. To słowo, które często kojarzy się z duchami i zjawami, ale w piosenkach może mieć głębsze, metaforyczne znaczenie.
W tej piosence Bruno Mars używa go, by opisać, jak wspomnienia o jego błędach i utraconej miłości nie dają mu spokoju. Śpiewa: "And it haunts me every time I close my eyes" (I to prześladuje mnie za każdym razem, gdy zamykam oczy), co doskonale oddaje uczucie żalu i niemożności ucieczki od przeszłości.
„When I Was Your Man” to niezwykle emocjonalna ballada Bruno Marsa o złamanym sercu i wielkim żalu po rozstaniu. Artysta spogląda wstecz na związek, który zakończył się z jego winy. Z bólem przyznaje, że był „zbyt młody i zbyt głupi”, by docenić swoją partnerkę. Jego duma, egoizm i samolubne zachowanie sprawiły, że wspaniała kobieta odeszła z jego życia. Teraz wszystko, od pustego łóżka po wspólną piosenkę w radiu, boleśnie przypomina mu o stracie.
Piosenka jest przejmującą listą rzeczy, których żałuje. Mars śpiewa o prostych, romantycznych gestach, których zaniedbał: powinien był kupować jej kwiaty, trzymać ją za rękę i poświęcać jej cały swój czas. Najbardziej boli go świadomość, że jego ukochana teraz tańczy, ale już z kimś innym. W poruszającym zakończeniu życzy jej szczęścia i ma nadzieję, że jej nowy partner będzie robił wszystko to, czego on nie zrobił, gdy był jej mężczyzną.