Tainted bedeutet 'befleckt' oder 'verdorben'. Es ist ein starkes Wort, das oft verwendet wird, um etwas zu beschreiben, das ursprünglich rein war, aber durch etwas Schlechtes oder Negatives verunreinigt wurde.
Im Lied singt Britney Spears von einem "tainted heart" (einem verdorbenen Herzen). Dies deutet darauf hin, dass der Mann, in den sie verliebt ist, nicht von Natur aus böse ist, sondern dass sein Herz durch schlechte Erfahrungen oder Handlungen beschädigt oder korrumpiert wurde. Es verleiht der Figur eine gewisse Tiefe und Tragik, die über ein einfaches "böse" hinausgeht.
In „Criminal“ singt Britney Spears über eine Liebe, die alle Alarmglocken schrillen lässt. Sie hat sich Hals über Kopf in einen echten Bad Boy verliebt – einen Kriminellen, einen Lügner und einen totalen Versager. Sie weiß ganz genau, dass er schlecht für sie ist und dass diese Beziehung alles andere als klug ist. Jeder warnt sie, aber ihr Herz, oder besser gesagt ihr Körper, hat andere Pläne.
Der Refrain ist ein verzweifelter Appell an ihre Mutter: „Mama I'm in love with a criminal“ (Mama, ich bin in einen Verbrecher verliebt). Britney versucht zu erklären, dass diese Art von Liebe nicht rational, sondern rein körperlich ist. Es ist eine Geschichte über die verbotene Anziehungskraft des Bösen und darüber, wie man sich manchmal gegen jede Vernunft für eine gefährliche, aber aufregende Liebe entscheidet.