Zamek stracił raptownie na znaczeniu w końcu XIV w. po tym, jak w latach 1370–1382 zbudowany został zamek w Zwoleniu. Ostatnie prace budowlane na zamku miały miejsce przed połową XV w., kiedy znalazł się on we władaniu Jana Jiskry. Podczas walk Jiskry z Janem Hunyadym, w 1451 r. zamek został zrabowany i spalony. Od tego czasu opustoszały, zaczął popadać w ruinę, rychło uzyskując swą dzisiejszą nazwę. Jedynie w okresie zagrożenia tureckiego na przełomie XVI i XVII w. wybudowano tu strażnicę i obsadzono ją niewielką załogą wojskową.
Pierwsze systematyczne prace wykopaliskowe na zamku miały miejsce w latach 1886–1899. W latach 50. XX w. trwały badania historyczne dotyczące dziejów zamku, a w latach 60. miał tu miejsce kolejny zwiad archeologiczny. Trwające od 1992 r. wielkie prace wykopaliskowe przyniosły setki znalezisk od ceramiki przez ozdoby z brązu po żelazne elementy broni, ostrogi i końskie podkowy. Prowadzone równocześnie rozległe prace rekonstrukcyjne i zabezpieczające ruin pozwoliły na wyeksponowanie i udostępnienie do zwiedzania całego kompleksu. Znaleziska archeologiczne z Pustego Zamku można zobaczyć w ekspozycji pt.