Po pożarze w 1525 obiekt został przebudowany przez starostę Stanisława z Gomolina na renesansową rezydencję, którą ukończono w 1534 (wtedy utracił większość cech gotyckich). Ostatecznie rolę obronną przestał pełnić w pierwszej połowie , kiedy otrzymał wczesnobarokową formę, stając się rezydencją biskupów Jana Wężyka herbu Wąż i Macieja Łubieńskiego herbu Pomian. Z tego czasu pochodzi okazały portal wjazdowy z herbami obu duchownych. W 1704 roku został spustoszony przez wojska saskiePiotr Maluśkiewicz, Województwo konińskie : szkic monograficzny, wyd. 1, Warszawa: Państwowe Wydawn. Nauk, 1983, s. 318-320, ISBN 83-01-00534-3, OCLC 11783554. Po pożarze miasta z 1736, podczas którego spłonęły dachy nad budynkami mieszkalnymi i nad wieżą, ich remont przeprowadził biskup Krzysztof Antoni Szembek.
W 1836 z nadania cara zamek z tytułem hrabiowskim otrzymał za zasługi w tłumieniu powstania listopadowego pochodzący z Estonii generał Karol Toll, który jednak nigdy w nim nie zamieszkałZamek w Uniejowie. Dopiero jego syn Aleksander Toll w 1848 dokonał klasycystycznej przebudowy obiektu w stylu romantycznym, a jego żona założyła na zachód od rezydencji romantyczny park krajobrazowy z wieloma gatunkami drzew rodzimych i zagranicznychtablica systemu informacji miejskiej Uniejowa in situ.