Siren geralmente significa 'sereia', a criatura mitológica com um canto irresistível, mas também pode significar 'sirene', como um alarme.
Nesta canção, Jay Park usa a palavra de forma poética, cantando "Baby like a siren". Ele compara a pessoa amada a uma sereia, expressando que a atração que ele sente é tão poderosa e cativante que é impossível resistir, assim como os marinheiros da mitologia não conseguiam resistir ao canto das sereias. É uma metáfora poderosa e incomum para descrever uma paixão avassaladora.
Em "Yesterday", Jay Park celebra um amor que é tão intenso quanto uma batida de hip-hop bem marcada. O cantor descreve como a presença da pessoa amada faz o coração disparar, devolve a fé e preenche a vida com beleza. Cada toque fica registrado como se fosse uma letra de música, e a sensação é tão elevada que ele confessa não conseguir “descer” desse estado de euforia.
O refrão repete o grande pedido da canção: que esse sentimento permaneça inabalável, não importa se ele estiver "por cima ou por baixo", "rico ou pobre". A mensagem principal é clara: o amor verdadeiro não depende de status, dinheiro ou coroas; ele apenas quer ser amado hoje com a mesma força de ontem. Assim, "Yesterday" une romantismo e gratidão em uma ode à constância, mostrando que, quando encontramos o propósito em alguém, não trocamos essa pessoa por nada no mundo.