Umbilical se referă la cordonul ombilical, legătura vitală dintre mamă și făt. Este un cuvânt puternic și neobișnuit într-un context muzical, sugerând o dependență profundă și o legătură primordială.
În cântec, versul "Throw down your umbilical noose so I can climb right back" folosește "umbilical" într-o metaforă întunecată. Sugerează o relație toxică, în care protagonistul este prins și dependent, dorind să se întoarcă la o sursă de control, chiar dacă aceasta este descrisă ca o "laț" (noose).
„Heart-Shaped Box” este ca un jurnal plin de metafore întunecate în care Kurt Cobain descrie o relație de dependență emoțională. Imaginea cutiei în formă de inimă sugerează un cadou aparent dulce, dar care devine o cușcă: „I've been locked inside your heart-shaped box for weeks”. Versurile îl arată pe narator atras irezistibil, ca de un „magnet tar pit trap”, incapabil să se elibereze atunci când partenera îl privește „ca o Peștișoară” profitând de momentele lui de slăbiciune.
La suprafață pare un cântec de dragoste, însă sub text se ascund teme de boală, vinovăție și sacrificiu. Dorința de a „mânca cancerul” celeilalte persoane trădează un impuls de a-i absorbi suferința, chiar cu prețul autodistrugerii. Referințele la „umbilical noose”, „angel hair” și „baby's breath” amestecă inocența nașterii cu imagini violente, subliniind cât de greu se taie cordonul care îi leagă. Refrain-ul „Hey, wait, I've got a new complaint / Forever in debt to your priceless advice” marchează ciclul nesfârșit de reproșuri și recunoștință, ca o relație care nu mai poate fi nici complet ruptă, nici vindecată.