En "Guilty", Olly Murs convierte una historia de amor en un juicio. Desde la primera línea le habla al juez: "Go easy on me now, Your Honor" (no sea duro conmigo, Su Señoría). ¿Su delito? Enamorarse: "'Cause I got caught but she's a pretty lady" (porque me pillaron, pero ella es una mujer guapa). Admite que estaba "a little bit crazy" (un poco loco) y hasta pide que lo encierren y tiren la llave, porque "this girl's got me all tied up" (esta chica me tiene completamente atado). Ojo con "tied up": aquí no habla de cuerdas, significa estar atrapado por alguien, totalmente enganchado.
El estribillo sigue con el vocabulario policial: "Chain me to your heart" (encadéname a tu corazón), "Handcuffed to your love" (esposado a tu amor) y "Darling, go ahead and arrest me" (cariño, adelante, arréstame). En la segunda estrofa reconoce su pasado, "Beyond a doubt, I was a wrong'un" (sin duda, era un mal tipo), donde "wrong'un" es jerga británica para alguien que no es de fiar. Y el final es perfecto: espera "the verdict of my love" (el veredicto de mi amor) y acepta "A life sentence" (una cadena perpetua) encantado. Es un juego de palabras de principio a fin, y muy pegadizo.