Trzeci etap rozbudowy przypadł na lata 1290–1301, tj. na panowanie Andrzeja III. Powstał wówczas tzw. Dolny Zamek o powierzchni 1,2 ha, którego zadaniem była obrona dostępu do zamku górnego. Założony został na planie rozciągniętego owalu. Posiadał również wieżę i był otoczony murem z bramą. Jego umocnienia nawiązywały do murów zamku górnego długim na 380 m murem, chroniącym drogę łączącą oba zamki. Przy nim powstał kompleks różnych dodatkowych budowli, nazwanych środkowym zamkiem. Zespół obronny Pustego Zamku z powierzchnią zabudowy ok. 7,6 ha należał wówczas do największych średniowiecznych założeń obronnych Europy.
Kolejna rozbudowa miała miejsce w latach 1307–1337, za panowania króla Karola Roberta. Twórcą nowej części mieszkalnej był zaufany Karola Roberta na ówczesnych Górnych Węgrzech, rycerz Doncz (znany w dawniejszym piśmiennictwie jako magister Doncz), do 1337 r. administrator potężnej żupy zwoleńskiej. Dlatego też ta część zamku znana jest w piśmiennictwie słowackim jako Dončov hrad.