Brygida w 1552 r. wyszła ponownie za mąż za Mikołaja Kostkę, pana na zamku Lietava, co początkowo znacznie wzmocniło jej pozycję prawną. Jednak Kostka, jak się wkrótce okazało, wykorzystał małżeństwo jedynie do zagarnięcia majątku: ograbił, ile się dało, podlegające zamkowi włości, zawładnął podstępem kosztownościami żony, a starzejącą się Barbarę zamknął w izolacji w swoim zamku. Ostatecznie dopiero w 1555 r. Franciszek Zay mógł objąć zamek we władanie, choć aż do swojej śmierci w roku 1570 mało przebywał na zamku, pełniąc służby w interesach korony daleko od domuNešpor Jaroslav: Za hradmi..., s. 7–9..
Ród Zay’ów stał się jednak właścicielem uhrowieckiego zamku na kilka stuleci. Ze względu na peryferyjne usytuowanie zamek nie ucierpiał ani od Turków ani później w czasie tzw. powstań kuruców. Gdy na początku XVII w. Zay’owie przenieśli się do nowego, znacznie wygodniejszego kasztelu w Uhrovcu, na zamku pozostały w użyciu jedynie zabudowania gospodarcze i pomieszczenia straży. Z czasem i te przestały być używane w przeciągu XVIII w. Chociaż członkowie rodu wzajemnie oskarżali się o brak troski o zamek, jeszcze w 1802 r., wiedzeni sentymentem do rodzinnego gniazda, zainwestowali w naprawę gontowych dachów zamku, zniszczonych przez wichurę. W czerwcu 1848 r.