Andrzej Leszczyński – wojewoda brzeskokujawski rozbudował zamek dobudowując dziedziniec z renesansowymi krużgankami wokół nowych budynków i założył bibliotekę. Zamek odwiedzał prawdopodobnie król Stefan Batory. Około 1620 roku murowany zamek został otoczony niezachowanymi ziemnymi fortyfikacjami bastionowymi. Ostatnim właścicielem z rodu Leszczyńskich był Rafał – ojciec Stanisława Leszczyńskiego – króla Polski.
Kolejnym właścicielem był Dymitr Jerzy Wiśniowiecki (w latach 1677–1682), później książę Józef Karol Lubomirski herbu Śreniawa (1683–1720). Pod koniec XVII wieku dobudowano do zewnętrznej części skrzydła zachodniego barokową galerię zdobioną stiukami.
Następnymi właścicielami byli książę Paweł Sanguszko, Jacek Małachowski, Józef Potocki, Jan Krasicki. Krasiccy jako właściciele zamku przeprowadzili prace remontowo-adaptacyjne wskutek których zamek częściowo utracił swoją dotychczasową formę fortyfikacji. Według tradycji zamek przed śmiercią odwiedził Ignacy Krasicki. Krasiccy powiększyli także zamkową bibliotekę i umieścili w zamku wiele dzieł sztuki, prawdopodobnie przechowywali na zamku także część pamiątek po Ignacym Krasickim. Po pożarze w 1849 roku, Krasiccy, ze względu na wysokie koszty, nie byli w stanie wyremontować zamku. Zrujnowaną budowlę kupił w 1867 roku Feliks Dolański herbu Korab z Grębowa.