Reminisce σημαίνει «αναπολώ» ή «θυμάμαι με νοσταλγία». Είναι μια λέξη που περιγράφει την πράξη του να σκέφτεσαι το παρελθόν, συχνά με ευχάριστο τρόπο, αλλά και με μια δόση μελαγχολίας.
Στο τραγούδι, οι Guns N' Roses τραγουδούν «I ain't got time to reminisce old novelties» (Δεν έχω χρόνο να αναπολώ παλιές καινοτομίες). Εδώ, η λέξη υποδηλώνει την έλλειψη χρόνου ή διάθεσης να κοιτάξουν πίσω σε πράγματα που κάποτε ήταν καινούργια και συναρπαστικά, αλλά τώρα έχουν περάσει, τονίζοντας το θέμα του χρόνου που φεύγει και της αλλαγής.
Το "Yesterdays" των Guns N' Roses είναι ένας δυναμικός ύμνος για την απόφαση να αφήσεις το παρελθόν πίσω σου. Ο αφηγητής νιώθει ότι το «χθες» δεν έχει τίποτα πια να του προσφέρει, παρά μόνο παλιές αναμνήσεις που μοιάζουν με ξεθωριασμένες φωτογραφίες: "Old pictures that I'll always see" (Παλιές εικόνες που θα βλέπω για πάντα). Υπάρχει μια αίσθηση απογοήτευσης, καθώς συνειδητοποιεί πράγματα που δεν του είχαν πει ποτέ, κάνοντάς τον να νιώθει ότι μεγαλώνει απότομα.
Αντί να αναπολεί, ο ήρωας του τραγουδιού επιλέγει να προχωρήσει μπροστά, ακόμα κι αν νιώθει μόνος και χωρίς σταθερό έδαφος κάτω από τα πόδια του: "I'll keep on movin' along / With no time to plant my feet" (Θα συνεχίσω να προχωράω / Χωρίς χρόνο να ριζώσω). Είναι μια ωδή στην αποδοχή της σκληρής πραγματικότητας και στην ανάγκη να κοιτάς μόνο το μέλλον, απορρίπτοντας τη νοσταλγία ως κάτι που δεν έχει πλέον καμία αξία.