Tenement betyr 'leiegård', spesielt en eldre, ofte nedslitt bygning med mange leiligheter, typisk i fattigere strøk.
I sangen brukes ordet i frasen "tenement halls" for å male et bilde av profetiske ord som er skrevet på vegger i byens mest oversette og glemte steder. Det gir en følelse av at visdom og sannhet kan finnes selv i de mest uventede og ydmyke omgivelsene, langt fra de etablerte institusjonene.
Har du noen gang følt deg alene i en folkemengde? «The Sound of Silence» utforsker nettopp denne følelsen. Sangen starter med at fortelleren snakker til mørket som en gammel venn, plaget av en visjon som har plantet seg i hjernen. Dette setter en dyster og ensom stemning, som om stillheten selv har en lyd.
Fortelleren vandrer alene gjennom kalde, fuktige gater, helt til et skarpt neonlys bryter mørket. I dette lyset ser de tusenvis av mennesker som «snakker uten å prate» og «hører uten å lytte». Det er en sterk kritikk av en verden der ekte kommunikasjon har forsvunnet. Folk tilber en «neongud» de selv har skapt, og ignorerer fortellerens advarsler. Sangen avslutter med en kraftfull idé: de sanne profetenes ord er ikke i de blinkende lysene, men skrevet på T-banevegger og hvisket i stillhetens lyd.