Foolish significa 'insensato' ou 'tolo'. É uma palavra que descreve algo ou alguém que age sem bom senso ou inteligência.
Na canção, Oasis canta: "I know that sounds foolish, but it's true" (Eu sei que parece tolo, mas é verdade). A banda usa esta palavra para introduzir uma ideia paradoxal – que a verdadeira perfeição tem de ser imperfeita – reconhecendo que pode soar irracional, mas defendendo a sua verdade. É uma palavra que convida à reflexão sobre a sabedoria convencional.
Em "Little By Little", os Oasis exploram a ideia de que a verdadeira perfeição reside na imperfeição. A letra começa com um sentimento de luta coletiva e liberdade, afirmando que "Nós, o povo, lutamos pela nossa existência / Não afirmamos ser perfeitos / Mas somos livres". Esta aceitação das falhas é um tema central da canção.
O refrão introduz uma dinâmica complexa, onde um "nós" dá a um "tu" tudo o que sempre sonhou, mas, ao mesmo tempo, "as rodas da tua vida foram caindo lentamente". Esta contradição sugere que o sucesso ou a realização vêm com um custo, um sacrifício gradual. A canção termina com uma questão existencial que passa do outro para o próprio eu: "Porque estou eu realmente aqui?", transformando uma observação sobre a vida de outra pessoa numa profunda reflexão pessoal.