"When We Kiss" é um mergulho emocionante nos altos e baixos de um romance que está por um fio. Olly Alexander descreve o instante mágico do beijo como um ponto de virada: ele sente que "o poder está nas suas mãos", mas também se pergunta como o casal chegou a um momento tão frágil, com lágrimas nos olhos justamente quando os lábios se tocam. A canção oscila entre esperança e incerteza, mostrando dois amantes que tentam decidir se vão se agarrar às brasas do que ainda existe ou deixar que a maré os separe de vez.
Ao longo da letra, imagens poderosas ‒ como um maremoto puxando-os para longe ou a dúvida se "caíram no sol" ‒ ressaltam a intensidade desse amor que pode tanto consumir quanto iluminar. No fim, o convite para deitar lado a lado representa a chance de reescrever o destino juntos, escolhendo se o beijo será um “fim” ou um “recomeço”.