Foolish signifie 'insensé' ou 'stupide'. C'est un mot qui décrit un comportement ou une idée qui manque de bon sens ou de jugement.
Dans la chanson, Oasis chante: "True perfection has to be imperfect, I know that sounds foolish, but it's true." Ici, le mot est utilisé pour anticiper la réaction de l'auditeur face à une affirmation paradoxale, rendant la phrase plus percutante et mémorable.
Dans Little By Little, Oasis nous plonge dans une réflexion sur le don et ses conséquences. La chanson parle d'un groupe, « We, the people » (Nous, le peuple), qui se bat pour son existence et qui, petit à petit (« little by little »), a l'impression d'avoir tout donné à quelqu'un. Mais ce cadeau total semble avoir un effet destructeur : pendant qu'ils donnent tout, « the wheels of your life have slowly fallen off » (les roues de ta vie se sont lentement détachées).
Le morceau explore aussi l'idée que la perfection se trouve dans l'imperfection : « True perfection has to be imperfect ». Au milieu de ces pensées profondes, le chanteur glisse une excuse typique du rock'n'roll : « my God woke up on the wrong side of his bed » (mon Dieu s'est levé du mauvais pied). Finalement, la chanson se termine sur une question existentielle qui passe de l'autre à soi-même, se demandant d'abord « I just ask myself why you're really here » (Je me demande juste pourquoi tu es vraiment là), pour finir par un introspectif « Why am I really here? » (Pourquoi suis-je vraiment là ?).