W 1241 roku objął go w posiadanie król węgierski Bela IV od Miki z rodu Balaszów. W tym czasie istniał już górny zamek i prawdopodobnie średni. Teren dolnego zamku stanowiła zabudowa drewniana. Przedstawicielem króla na zamku był kasztelan.
W 1298 roku zamek został oddany możnowładcy Mateuszowi Czakowi Trenczańskiemu, a po jego śmierci, wraz z całą Orawą, został powierzony Węgrowi, Donczowi, który przez 20 lat pełnił godność kasztelana i tytułował się hrabią orawskim.
W 1331 roku król Karol Robert mianował hrabią orawskim kremnickiego hrabiego Leopolda, a w 1335 roku powierzył mu obowiązki kasztelana. Leopold godność tę piastował do roku 1349.
W 1420 roku otrzymał Orawę we władanie z rąk króla Zygmunta Luksemburczyka możnowładca węgierski polskiego pochodzenia Ścibor Ściborowic herbu Ostoja. W 1439 roku, po śmierci Albrechta II Habsburga, który w 1437 roku został wybrany przez szlachtę węgierską, i 1 stycznia 1438 koronowany na króla Węgier, jego żona, córka Zygmunta Luksemburczyka Elżbieta Luksemburska, w celu zapewnienia korony synowi Władysławowi Pogrobowcowi, wezwała na pomoc Jana Jiskrę z Brandysa.