Em "So It Goes...", Taylor Swift explora a dualidade de um relacionamento que é ao mesmo tempo secreto e intensamente público. Longe dos olhares de todos, o casal vive uma paixão avassaladora, onde se tornam mágico e ilusionista um para o outro, fazendo o resto do mundo desaparecer. A expressão So it goes..., que pode ser traduzida como "E assim vai..." ou "É a vida...", sugere uma aceitação do destino e da natureza inevitável desta ligação magnética, mesmo com todos os seus altos e baixos.
Esta canção mergulha na intimidade e na sensualidade do romance. Versos como "You know I'm not a bad girl, but I do bad things with you" (Você sabe que não sou uma rapariga má, mas faço coisas más consigo) revelam um lado mais ousado e vulnerável. A letra descreve um amor tão forte que se torna uma "gaiola de ouro", um sentimento do qual ela é refém. É uma celebração de uma conexão irresistível, onde as peças se encaixam perfeitamente nos momentos a sós, longe do julgamento do mundo.