Pierwsza wzmianka o zamku (wspomnianym jako Castrum Ugrog) pochodzi z dokumentu kapituły ostrzyhomskiej z 1295 r. Czytamy w nim, że drogą wymiany za majątki w Tekovie zamek, wraz z szeregiem okolicznych wsi, przejął z rąk Piotra, syna Bašy, Mateusz Czak, wówczas najpotężniejszy możnowładca Górnych Węgier. Historycy są zgodni co do tego, że ów „król Wagu i Tatr” przedstawił Piotrowi coś w rodzaju „propozycji nie do odrzucenia”, skoro ten zgodził się wymienić uhrovecki zamek wraz z dziewięcioma wsiami za jakieś niewiele warte nieruchomości Czaka w Tekovie (dolina dolnego Hronu) i symboliczną „dopłatę” w wysokości 50 grzywien srebra. Potwierdza to zresztą inny dokument z Ostrzyhomia, pochodzący z 1297 r., w którym mówi się wprost o szantażu. Po śmierci Czaka w 1321 r. zamek przeszedł w ręce Karola Roberta i stał się majątkiem królewskim.