Castillo kelimesi İspanyolca kökenli olup "kale" anlamına gelir. İngilizce bir şarkıda bu kelimenin kullanılması oldukça dikkat çekicidir ve şarkıya egzotik bir hava katar.
George Ezra, şarkıda sevdiği kişi için sahip olduğu her şeyi, hatta "güzel kalesini" bile terk etmeye hazır olduğunu ifade eder. Bu kelime, sanatçının sevgilisine duyduğu derin bağlılığı ve onun için yapabileceği fedakarlıkları vurgular.
George Ezra'nın "Budapest" şarkısı, sahip olabileceğin en değerli şeylerin bile sevdiğin bir kişinin yanında ne kadar anlamsız kalabileceğini anlatan tatlı bir şarkı. Şarkıcı, dinleyeni adeta bir hazine avına çıkarıyor:
Bu sadece eşyalardan vazgeçmekle ilgili değil. Şarkıcı, arkadaşlarının ve ailesinin bu durumu anlamadığını ve onun çok şey kaybedeceğinden korktuğunu söylüyor. Yine de o, bu büyük değişimi yapmamak için tek bir "geçerli neden" arıyor ama bulamıyor gibi. Çünkü sevdiği kişinin ona sarılması, tüm bu zenginliği ve endişeleri unutturmaya yetiyor. Şarkı, gerçek zenginliğin ne olduğu üzerine düşündüren romantik bir kaçış hikayesi anlatıyor.