Reminisce означава 'спомням си' или 'разказвам спомени', често с носталгичен оттенък. Това е по-дълбока и по-емоционална дума от просто 'remember'.
В контекста на песента, Axl Rose пее: "I ain't got time to reminisce old novelties" (Нямам време да си спомням стари новости). Той използва тази дума, за да покаже, че е твърде зает с настоящето и бъдещето, за да се отдава на минали спомени, което придава на текста по-силно послание.
В „Yesterdays“ Guns N' Roses разглеждат идеята за оставяне на миналото зад гърба. Разказвачът осъзнава, че с времето научава неща, които преди не е знаел, и това го кара да се чувства „остарял“. За него вчерашният ден не крие нищо ново – той е просто колекция от „стари снимки“, които винаги ще вижда, и избледняващи страници в „книга със спомени“.
Въпреки чувството, че е сам и съдбата не е в неговите ръце, той е решен да продължи напред, без да има време „да пусне корени“. Песента отхвърля носталгията и подчертава, че няма смисъл да се връщаме към „стари джунджурии“. Това е химн за продължаването напред, дори когато бъдещето е несигурно, а миналото е източник на разочарование, а не на утеха.