"Like a Rolling Stone" es Bob Dylan hablándole, con bastante mala leche, a una chica rica que lo ha perdido todo. Antes vestía de maravilla y tiraba una moneda a los vagabundos ("Threw the bums a dime"); fue a las mejores escuelas, "Miss Lonely" (señorita Solitaria), pero nadie le enseñó a vivir en la calle. Ahora tiene que buscarse la comida ("scrounging your next meal") y ya no habla tan alto.
El estribillo es una pregunta que se repite como un martillo: "How does it feel?" (¿qué se siente?) de estar sola, sin camino a casa, "like a complete unknown, like a rolling stone" (como una completa desconocida, como una piedra que rueda). La expresión viene del refrán "a rolling stone gathers no moss": alguien que no echa raíces. Al final hay una frase que se cita muchísimo: "When you ain't got nothing, you got nothing to lose" (cuando no tienes nada, no tienes nada que perder). Dura, pero también un poco liberadora.