Kaleidoscope betekent 'kaleidoscoop'. Het is een prachtig en enigszins ongebruikelijk woord dat een instrument beschrijft dat steeds veranderende, kleurrijke patronen creëert.
In de context van het lied gebruikt Miley Cyrus het om de transformerende en betoverende impact te beschrijven die de persoon op haar heeft. Ze zingt: "Just like kaleidoscope colors that cover me", wat suggereert dat de persoon haar wereld vult met levendige kleuren en een gevoel van verwondering, net als de steeds veranderende patronen in een kaleidoscoop.
In "When I Look At You" zingt de Amerikaanse artiest Miley Cyrus over het vinden van een ankerpunt in moeilijke tijden. Het lied beschrijft hoe iedereen soms inspiratie of een 'prachtig liedje' nodig heeft, vooral wanneer het leven zwaar is en 'de nachten zo lang zijn'. De zangeres schetst een beeld van momenten waarop haar wereld instort en er geen licht is om de duisternis te doorbreken. Op die momenten, wanneer ze zich verloren voelt, is er één persoon die haar redding is.
Deze persoon is een bron van onvoorwaardelijke liefde en acceptatie, iemand die van haar houdt 'om wie ik ben'. In de ogen van deze persoon ziet ze vergeving en de waarheid. De relatie geeft haar een gevoel van thuiskomen en erbij horen, net zoals 'de sterren de maan vasthouden'. Deze persoon verschijnt als een droom, bedekt haar met 'caleidoscoopkleuren' en is net zo essentieel als de lucht die ze inademt.