Bother significa 'incomodar', 'aborrecer' ou 'se importar'. É uma palavra comum, mas no contexto desta música, ela ganha um duplo sentido interessante.
No refrão, o cantor diz: "Not that it can bother you" (Não que isso possa te incomodar/importar), sugerindo que a pessoa para quem ele canta é tão indiferente que nem mesmo a perda de alguém que a ama a afetaria. No entanto, o título da música e o final repetem "Bother you", o que pode ser uma provocação ou um desejo de realmente incomodar a pessoa, ou até mesmo uma forma irônica de dizer que ele não consegue parar de se importar com ela, apesar de tudo.
Em "Bother", Chris Coral e AdamAlexander contam a história de uma paixão frustrante e unilateral. O cantor dirige-se a uma "Miss Magical", uma mulher que o fascina, mas que parece não levar os seus sentimentos a sério. Ele pede apenas "um minuto do seu tempo", na esperança de que algo especial possa acontecer, mas sente que ela o está iludindo apenas por diversão (lead me on for fun).
Esta canção explora a dinâmica de um relacionamento desequilibrado. Ele descreve um ciclo vicioso: ela sai com as amigas, liga-lhe de madrugada e, em vez de terem um momento de carinho, acabam sempre a discutir (every time you do we fight). Cansado desta situação, ele faz um aviso: se ela continuar a agir desta forma, arrisca-se a perder alguém que a ama de verdade, embora ele suspeite que isso nem sequer a vá incomodar (Not that it can bother you).