Fuss betyder 'skændes' eller 'gøre vrøvl', ofte om småting. Det er et interessant ord, fordi det beskriver en specifik type uenighed, der er mere irriterende end alvorlig.
I sangen synger Simply Red: "'Cause we only act like children when we argue fuss and fight." Her bruges "fuss" til at understrege, hvordan parret opfører sig barnligt og skændes om bagateller, hvilket giver et levende billede af deres dynamik.
Forestil dig dette: Du har været sammen med nogen i lang tid, og du tænker, "Vi har været igennem så meget, du burde kende mig nu!" Det er præcis, hvad Simply Red synger om i "If You Don't Know Me By Now". Han er lidt frustreret over, at hans partner stadig ikke helt forstår ham, selv efter alt det, de har oplevet sammen. Han synger, "If you don't know me by now, You will never never never know me" [Hvis du ikke kender mig nu, vil du aldrig, aldrig, aldrig kende mig]. Det er en ret direkte besked!
Sangen handler om at forvente en vis forståelse og tillid i et forhold. Han siger, at han ved forskel på rigtigt og forkert og ikke vil ødelægge deres "happy home" [lykkelige hjem]. Han beder sin partner om ikke at blive for ophidset, hvis han kommer sent hjem, og minder om, at de kun opfører sig som børn, når de skændes. Han erkender, at alle har deres "funny moods" [sjove humør] og opfordrer til, at de stoler på hinanden, ligesom han stoler på hende. I bund og grund er det en sang om at nå et punkt i et forhold, hvor man forventer dyb forståelse og tillid, og hvis det ikke er der, så er der måske et problem.