Taboo означает 'табу' — то, что запрещено или считается неприемлемым в обществе.
В песне Panic! At The Disco это слово используется для описания того, как воспоминания и мечты могут стать чем-то запретным или нежелательным, особенно когда они связаны с прошлыми отношениями. Это придает тексту загадочность и интригу, заставляя задуматься о скрытых смыслах.
В «House Of Memories» любовь показана как место, построенное из воспоминаний. Рассказчик честно предупреждает: «The lonely moments just get lonelier» [одинокие моменты становятся ещё более одинокими], если любить долго. Прошлое превращается в мечты наяву, а близость кажется чем-то запретным: «Is this taboo?» [Разве это табу?]. Образ «Soft hearts, electric souls» [нежные сердца, электрические души] звучит немного странно и очень красиво: между двумя людьми есть сильное притяжение, которое ощущается почти физически.
Главная просьба песни обращена к бывшему близкому человеку: «Promise me a place in your house of memories» [пообещай оставить мне место в своём доме воспоминаний]. «Take my picture, now, shake it till you see it» [сфотографируй меня сейчас, потряси снимок, пока не увидишь меня] напоминает о старой фотографии, которую хочется сохранить как доказательство того, что эта любовь была. Рассказчик признаёт свою вину: он был слишком молод, чтобы понять, что действительно важно, и называет себя глупцом. В финале его тревожат мысли о прошлых возлюбленных и сомнение, помнят ли его так же, как он помнит другого человека. Поэтому этот «дом» не настоящий, а личный архив чувств, где прошлое продолжает жить и куда рассказчик просит его впустить.