Muse jelentése 'múzsa'. Ez a szó egy inspiráló személyre, különösen egy művész vagy író számára inspirációt nyújtó nőre utal.
A dalban Katy Perry azt énekli, "I'm no longer your muse" (Már nem vagyok a múzsád). Ezzel azt fejezi ki, hogy a kapcsolatuk véget ért, és már nem ő az, aki inspirálja a volt párját, ami egy szívszorító és költői módja a szakítás leírásának.
Katy Perry „The One That Got Away” című dala egy keserédes visszatekintés egy fiatalkori szerelemre. A dal egy középiskola utáni nyár emlékeivel indít, tele élénk képekkel: a Radiohead zenéjére csókolózás egy Mustangban, közös tetoválás a 18. születésnapon, és a jövőről való álmodozás a háztetőn. Olyan elválaszthatatlannak érezték magukat, mint June és Johnny Cash, és szentül hitték, hogy örökké együtt maradnak.
A dal központi témája a „mi lett volna, ha?” gondolata. Az énekesnő egy másik életről fantáziál, ahol minden ígéretüket betartják, és ahol meg tudta volna győzni a szerelmét, hogy maradjon. A szöveg tele van megbánással, és a felismeréssel, hogy a pénz és a hírnév sem képes visszahozni az elvesztegetett időt vagy azt a személyt, aki „megszökött”. Ez egy dal arról a fájdalomról, amikor valaki túl későn jön rá, mit kellett volna mondania.