Haunted znamená 'pronásledovaný' nebo 'strašidelný'. Obvykle se používá pro místa, kde straší duchové.
V této písni Gracie Abrams používá slovo "haunted" metaforicky, aby popsala, jak je každý kout jejího domu plný vzpomínek na minulý vztah. I když tam nejsou skuteční duchové, pocity a vzpomínky na jejího bývalého partnera ji pronásledují, což dodává textu silný emocionální náboj.
Pamatuješ si, jaké to bylo, když jste byli šťastní spolu? Gracie Abrams ve své písni "I Miss You, I’m Sorry" vzpomíná na vztah, který skončil, ale stále ji pronásleduje. Začíná otázkou: "Do you remember happy together? I do, don't you?" [Pamatuješ si, jaké to bylo, když jsme byli šťastní spolu? Já ano, ty ne?], což naznačuje, že i když se snažila vztahu bránit, vzpomínky jsou stále živé.
Skladba je plná protikladů a zmatku. Zpěvačka si pamatuje sliby "forever" [navždy], ale zároveň přiznává, že "I only saw you once in December" [v prosinci jsem tě viděla jen jednou]. I když ví, že by neměli mluvit, stále se jí stýská: "I know you said that we're not talking, but I miss you, I'm sorry" [Vím, že jsi řekl, že spolu nemluvíme, ale stýská se mi, omlouvám se]. Je to takový ten pocit, kdy se snažíš jít dál, ale všechno tě vrací zpět k té jedné osobě, protože "Everywhere I go leads me back to you" [Všude, kam jdu, mě to vede zpátky k tobě].