Bem-vindo a uma das histórias mais comoventes da música soul! "Papa Was A Rolling Stone" é um diálogo poderoso entre um filho e a sua mãe. O filho, que nunca conheceu o pai, quer saber a verdade sobre ele no aniversário da sua morte. Tudo o que ele conhece são os rumores e as fofocas da cidade: que o seu pai nunca trabalhou, que tinha outras famílias e até que era um falso pregador que roubava em nome da fé.
A resposta da mãe é o refrão icónico e de partir o coração da canção. Em vez de confirmar ou negar cada boato, ela simplesmente repete: 'Papa was a rolling stone... Wherever he laid his hat was his home'. A expressão 'rolling stone' (literalmente, 'pedra que rola') é uma metáfora para alguém que não se fixa num lugar, um nómada. Com esta resposta, ela revela uma verdade dolorosa: o pai era um homem ausente que, ao morrer, a única coisa que deixou para a sua família foi o vazio e a solidão.