Córka Jerzego Montwida Irzykowicza Eleonora z Irzykowiczów Bremerowa wraz z mężem komendantem Grodna i oberszterem piechoty Idzim Bremerem de Britmar (zm. 1662) poleciła zbudować na zamku dwór modrzewiowy, w którym mieszkała później z kolejnym mężem pisarzem nurskim Nikodemem Jabłonowskim. Córka Idziego i Eleonory, Marianna Bremerowa (zm. 1688), wyszła za chorążego nurskiego Jerzego Hieronima Ossolińskiego. Przypuszczalnie kolejne zniszczenia przyniosła III wojna północna tocząca się na ziemiach polskich w latach 1702–1706. W 1703 r. Ciechanowiec kupił chorąży drohicki Franciszek Maksymilian Ossoliński z Rudki (1676–1756). Po nim zamek odziedziczył jego syn Tomasz Konstanty Ossoliński (1716–1782).
W XVIII wieku ród Ossolińskich częściowo odbudował obiekt, jednak siedziba mieszkalna miała już jedynie formę modrzewiowego dworu z istniejącą w XVIII wieku murowaną wieżą zegarową, która swój znany nam z fotografii kostium zewnętrzny nawiązujący do stylu neogotyckiego otrzymała przypuszczalnie w 2 połowie XIX wieku. W latach 1829–1888 właścicielem Ciechanowca był Stefan Ciecierski, jednak przypuszczalnie nie dokonywał w obiekcie większych inwestycji, rezydując najczęściej w drewnianym dworze w Pobikrach. Drewniane części dworu zwanego przez ludność „Zameczkiem” od 1908 roku mieściły szkołę 4-klasową.