W 1388 lub 1389 r. zamek z rąk cesarza Zygmunta Luksemburskiego przejął potężny Ścibor ze Ściborzyc, w owym czasie m.in. komes komitatów górnowęgierskich (słowackich) i najbogatszy magnat węgierski. Po bezpotomnej śmierci jego syna, Ścibora Ściborowica w 1434 r. zamek wraz z podległym mu feudalnym „państwem”, obejmującym już wówczas miasto Bánovce oraz 21 wsi położonych w dolinach Bebravy i Radišy, wrócił do króla, który w następnym roku przekazał go swej żonie Barbarze Cylejskiej. Ta władała nim do 1439 r., kiedy odebrał go jej następca Zygmunta Luksemburskiego, Albrecht Habsburg i przekazał go swej żonie Elżbiecie. W XV i XVI w. zamek był przedmiotem licznych sporów i wielokrotnie zmieniał właścicieli. Co najmniej od 1453 r. Uhrovcem władał wpływowy magnat pochodzący z Liptowa, Pongracz ze Św. Mikułasza. Pongraczom przypisywana jest rozbudowa zamkowych umocnień, ale także bicie w zamkowych podziemiach fałszywej monety. Po Pongraczach „państwo” dzierżawiła m.in. rodzina Danffych z Dobozu.