Fortress significa 'fortaleza' ou 'baluarte'. É uma palavra que evoca imagens de força, proteção e resistência, algo que não se encontra frequentemente em letras de músicas pop.
Nesta canção, Madonna usa a palavra de forma metafórica, cantando "I was your fortress you had to burn" (Eu era a tua fortaleza que tiveste de queimar). Ela descreve-se como um refúgio ou um ponto de apoio para a outra pessoa, que, no entanto, teve de ser destruído para que ambos pudessem seguir em frente. É uma imagem poderosa que realça a intensidade da relação e a dor da despedida.
Nesta poderosa balada, Madonna explora a dor e a força que vêm com o fim de uma relação. A letra descreve a decisão de partir quando o amor já não é correspondido e o coração da outra pessoa está fechado: "Your heart is not open so I must go" (O teu coração não está aberto, por isso tenho de ir). É o momento em que "o feitiço se quebrou" ("The spell has been broken"), e a única opção é seguir em frente.
A canção transforma o adeus num ato de empoderamento. Em vez de ser um sinal de derrota, dizer adeus é apresentado como o maior poder que alguém pode ter: "There's no greater power / Than the power of good-bye" (Não há poder maior / Do que o poder do adeus). A letra sugere que a verdadeira liberdade e a capacidade de criar algo novo na vida surgem quando se aprende a largar o que nos magoa e a dizer "não". A relação, embora dolorosa, foi uma lição necessária: "You were my lesson I had to learn" (Tu foste a minha lição que eu tive de aprender).