W okresie Muromachi (1392–1573) obiekt ten zwrócił uwagę trzeciego sioguna z rodu Ashikaga o imieniu Yoshimitsu (1358–1408), który przejął to miejsce od rodziny Saionji w celu zbudowania własnej rezydencji, którą nazwał Kitayama-donoKitayama (北山, północne góry, góry na północy) → pasmo górskie biegnące wzdłuż północnej części Kioto, ale obszar wokół Kinkaku-ji jest czasami określany jako Hokuzan (on’yomi), co jest alternatywną wymową znaków użytych do napisania Kitayama (kun’yomi)..
Kompleks ten, którego ogrody i architektura skupiały się wokół centralnego Złotego Pawilonu, miał przywoływać raj na ziemi. Z tego też powodu był odwiedzany przez tak cenionych gości, jak cesarz Go-Komatsu (1377–1433; panował w latach 1392–1412). Był on ojcem mistrza zen, poety i opata świątyni Daitoku-ji, Ikkyū Sōjuna (1394–1481).
Posiadłość stała się centrum tak zwanej „kultury Kitayama”, która odegrała kluczową rolę w przyjmowaniu różnych aspektów chińskiej kultury dynastii Ming (1368–1644) do społeczeństwa japońskiego, także dzięki zacieśnieniu stosunków handlowych z kontynentalnym sąsiadem.