Sweater significa 'camisola' ou 'camisola de malha'. Embora seja uma palavra comum, a sua aparição nesta canção é particularmente interessante e emotiva.
Na letra, o cantor menciona: "You left your perfume on my sweater" (Deixaste o teu perfume na minha camisola). Esta frase evoca uma imagem poderosa e nostálgica, onde um objeto do dia a dia se torna um recipiente de memórias e da presença de alguém que já não está lá. É um detalhe que humaniza a dor da separação e torna a canção mais relacionável.
Nesta canção, Jay Wheeler está a sentir-se super sozinho e arrependido por ter deixado a sua cara-metade ir embora. Ele vê que ela está feliz e tenta não se importar, mas não consegue. Ele confessa que, apesar de estar rodeado de pessoas, sente a falta dela: "Room full of girls but I miss you anyway" [Sala cheia de raparigas, mas sinto a tua falta na mesma].
Ele está a implorar para que ela volte e o "salve", porque a vida já não é a mesma sem ela. Até ver Netflix perdeu a graça! Ele admite que cometeu um erro ao deixá-la ir: "Everyone makes mistakes and mine was letting you go" [Toda a gente comete erros e o meu foi deixar-te ir]. Parece que ele ainda tem esperança de que eles possam ficar juntos, mesmo que ela não lhe responda às mensagens. É uma canção cheia de saudade e um desejo enorme de uma segunda oportunidade.