Payroll verwijst naar de lijst van werknemers die betaald moeten worden, of het totale bedrag aan salarissen.
In de context van het nummer, "But we're still on the payroll", suggereert het dat de personages, ondanks hun acties of falen, nog steeds deel uitmaken van het systeem en hun beloning ontvangen. Het is een interessant woord omdat het een gevoel van cynisme en onvermijdelijkheid toevoegt aan de thematiek van karma en gerechtigheid in het nummer.
In "Karma Police" van Radiohead voelen we de frustratie van iemand die de wereld om zich heen observeert en een soort rechtvaardigheid zoekt. De hoofdpersoon roept de "Karma Police" op om mensen aan te pakken die zich vreemd gedragen, zoals de man die "talks in maths" [praat in wiskunde] en "buzzes like a fridge" [bromt als een koelkast], of het meisje met haar "Hitler hairdo" [Hitler kapsel] die de verteller ziek maakt. Het is een beetje een donkere humor, vind je niet?
Het liedje gaat verder met het idee dat er consequenties zijn voor je acties: "This is what you'll get when you mess with us" [Dit is wat je krijgt als je met ons rotzooit]. Maar het is niet alleen kritiek op anderen; de verteller geeft ook toe dat hij zelf worstelt. Hij heeft "given all I can" [alles gegeven wat ik kan], maar het is "not enough" [niet genoeg]. En dan is er die herhaalde zin "For a minute there, I lost myself" [Even was ik mezelf kwijt], wat laat zien dat de verteller ook zijn eigen strijd voert in deze chaotische wereld. Het is een nummer dat je aan het denken zet over oordelen, rechtvaardigheid en je eigen plek daarin.