Guillotine significa 'guilhotinar', referindo-se ao ato de decapitar com uma guilhotina. É uma palavra forte e historicamente carregada, que não se encontra frequentemente em letras de músicas pop.
No contexto da música, Melanie Martinez usa essa palavra de forma metafórica e chocante para expressar a ideia de um corte radical e definitivo com o passado e com as opressões. Ela canta "So guillotine their heads by shouting", sugerindo uma revolta e uma libertação drástica.
Em "MILK OF THE SIREN", Melanie Martinez cria uma poderosa fantasia de vingança. A canção transforma a narradora e as suas irmãs em sereias míticas, descendentes de "mães, as bruxas que eles baniram e queimaram". Cansadas de serem silenciadas e maltratadas por "homens que brandiam espadas", elas usam o seu poder para atrair os seus opressores para a morte, afogando-os sem remorso.
A letra é uma forte crítica à opressão histórica das mulheres e à destruição do planeta por aqueles que "roubam os recursos, destroem toda a terra". As sereias não pedem desculpa pela sua fúria, declarando que "não há nada de errado com um pouco de caos". A canção é um hino feroz sobre a recuperação do poder feminino, a luta contra a injustiça e a libertação de gerações de dor através de uma rebelião violenta e catártica.