Zamek powrócił w ręce królewskich kasztelanów i żupanów szaryskich, a w roku 1436 otrzymał go możny ród węgierski Perényich.
Gdy po śmierci Zygmunta Luksemburskiego na Węgrzech wybuchły walki o sukcesję, Elżbietę Luksemburską wspierał w walce z Władysławem Warneńczykiem czeski kondotier Jan Jiskra, który w marcu 1441 roku opanował zamek i usadził w nim swojego dowódcę Matěja z Kněžic. Matěj z Kněžic pozostawał lojalny do czasu osłabienia pozycji Jiskry i wkrótce przystał do bratrzyków (bratříci – słowaccy husyci, zorganizowani na wzór braci czeskichJiří Jurok, Čeští husitští a katoličtí kondotiéři z Moravy na Slovensku v 15. století (OBDOBÍ BRATŘÍKŮ), „Vojenská história” 4/2005, Bratysława 2005 .). W 1461 roku wojsko pod dowództwem Stefana Zápolyi po oblężeniu zdobyło zamek, a król Maciej Korwin odzyskaną warownię zwrócił w ręce Perényich.
W roku 1526 podczas bitwy pod Mohaczem zginął król Ludwik II Jagiellończyk, a rodzina Perényi poparła Jana Zapolyę w jego dążeniach do tronu węgierskiego. W wyniku tego konfliktu w 1537 roku zamek będący we władaniu Piotra Perényiego został zdobyty przez wojska Ferdynanda Habsburga, który nowym jego właścicielem ustanowił swojego doradcę i dyplomatę Jerzego Wernhera.