Po nim dobra przejął jego syn – Aleksander Hieronim Wołłowicz (po 1658 r.). W bliżej nieznanym czasie doszło do połączenia dóbr Andrzejewo z dobrami Pawłowicze i w początkach XVIII w. majętność ta znalazła się w rękach rodziny Łapów, jednak Stanisław Łapa dzierżył Pawłowicze, a Władysław Łapa Andrzejewo. W 1775 r. całość dóbr pozostawała własnością Komara, miecznika Wiłkomirskiego. Przed 1784 r. dobra te stały się własnością Downarowiczów, chorążych rzeczyckich. W XVIII wieku Downarowiczowie przebudowali pałac i zbudowali dwie oficyny w stylu klasycystycznym oraz założyli park. Dawny dwór – kamienicę przebudowano i rozbudowano, dzięki czemu powstał reprezentacyjny pałac z drewnianym gankiem w elewacji głównej, boniowaniem z tynku w przyziemiu oraz fryzem z rygalitów i rozet ponad piętrem. W tej samej linii co pałac wzniesiono oficyny – północną z kamienia polnego i południową z cegły. Przed pałacem umieszczono dwa dziedzińce (wstępny i honorowy), które przecinała aleja lipowa poprowadzona na osi pałacu, a kończąca się przy bramie i kamiennym murze ogrodzenia. Budynki gospodarcze umieszczono przy drodze z Nowego Dworu do Zalesia i Sokółki. Zapewne w tym samym okresie zamieniono dawny zbór kalwiński na kaplicę katolicką. Na przełomie XIX i XX wieku w pobliżu pałacu zbudowano nowe murowane stajnie.