Reminisce significa 'relembrar' ou 'recordar', mas com um sentido mais profundo de evocar memórias do passado, muitas vezes com carinho ou nostalgia.
Na canção, Axl Rose canta: "I ain't got time to reminisce old novelties" (Não tenho tempo para relembrar velhas novidades). Ele usa esta palavra para expressar a sua falta de tempo ou desejo de se prender ao passado, focando-se no presente e no futuro. É uma palavra que transmite uma sensação de reflexão sobre o que já foi.
Em "Yesterdays", os Guns N' Roses exploram a ideia de deixar o passado para trás. A letra descreve uma desilusão com os dias que passaram, referindo que "ontem não tem nada para mim" (Yesterday's got nothin' for me). O vocalista reflete sobre como, no passado, havia muitas coisas que não sabia (so many things I was never told), e que aprender essas verdades o faz sentir-se a envelhecer (I feel I'm growing old).
Esta canção é um hino à necessidade de seguir em frente, mesmo sem um rumo definido. O narrador sente que não tem controlo sobre o seu futuro (no hand in destiny) e que não há tempo para criar raízes (no time to plant my feet). O passado é visto apenas como "fotografias antigas" (old pictures) e "velhas novidades" (old novelties) para as quais não há tempo a perder. É uma mensagem poderosa sobre aceitar o presente e caminhar em frente, mesmo quando nos sentimos sozinhos.