Haunted surprinde momentul acela tensionat în care o relație, deja atârnată de un fir subțire, se rupe brusc. Taylor Swift descrie noaptea în care își dă seama că persoana iubită se îndepărtează, iar liniștea devine înfricoșătoare. Versurile „You and I walk a fragile line” și „I can't trust anything now” transmit nesiguranța ei: tot ce credea sigur se clatină, iar fiecare clipă pare o greșeală uriașă.
Refrenul – acel strigăt repetitiv „Come on, come on, don't leave me like this” – este o rugăminte disperată să nu fie abandonată. Deși încearcă să meargă mai departe și chiar acceptă pe altcineva „who will try to take away my pain”, adevărul e că fantoma fostei iubiri o urmărește. „I'm haunted” devine cheia piesei: nu e vorba de spirite, ci de amintiri care nu o lasă să respire. În final, cântecul este o confesiune plină de emoție despre frica pierderii, dorul imposibil de ignorat și imposibilitatea de a închide un capitol atunci când inima încă speră.