Picket se referă la un gard, mai exact un gard din scânduri, adesea asociat cu imaginea idilică a unei case americane, "picket white fence" (gard alb din scânduri).
În contextul cântecului, "Picket white fence, but we paint it black" (Gard alb din scânduri, dar îl vopsim negru) este o metaforă puternică. Sugerează că, deși relația lor părea perfectă la suprafață, ca un gard alb imaculat, în realitate era plină de probleme și tristețe, pe care le-au "vopsit în negru".
„Let Me Go” este mai mult decât un simplu cântec de despărțire. Este o poveste despre o relație care arăta perfectă pe hârtie, ca un vis cu gard alb, dar care în realitate era sortită eșecului. Hailee Steinfeld cântă despre cum, în ciuda aparențelor, ea a fost cea care a creat probleme, transformând visul într-un coșmar și „pictând gardul în negru”. Este o recunoaștere sinceră a faptului că unele lucruri, oricât de frumoase par, pur și simplu nu sunt menite să dureze.
Mesajul central al melodiei este o dorință surprinzător de altruistă. În loc să se agațe de trecut, naratoarea își dorește ca partenerul ei să găsească pe altcineva care să îl iubească așa cum ea nu a putut. Refrenul, „Someone will love you, let me go” (Cineva te va iubi, lasă-mă să plec), nu este un strigăt egoist, ci o eliberare pentru amândoi. Este o rugăminte plină de regret, dar și de speranță, ca fostul iubit să meargă mai departe și să găsească fericirea pe care ea nu i-a putut-o oferi.