Dziś nie wiadomo, w jaki sposób następnym właścicielem majątku stał się Aleksander Paulin Mirski (1745–?). Po nim dobra odziedziczył jego syn Ignacy Fabian (1781–1853), a po nim – jego syn Kornel Mirski, który jednak wstąpił do zakonu i swój majątek oddał swemu młodszemu bratu, Piotrowi (1822–?). Czworo dzieci Piotra było prawdopodobnie ostatnimi właścicielami Zajnowa do I wojny światowej, później majątek prawdopodobnie został rozparcelowany.
Na początku XIX wieku, a być może wcześniej, wzniesiono w Zajnowie drewniany, parterowy dwór na niewysokiej, tynkowanej podmurówce. Na osi frontowej budynku był portyk z dwiema parami toskańskich, masywnych kolumn. Ich kwadratowe bazy stały na tarasie, do którego prowadziło 6 stopni. Kolumny były zwieńczone trójkątnym szczytem. Dom był szalowany poziomymi deskami w naturalnym kolorze. Elewacja ogrodowa była znacznie dłuższa niż frontowa (o 4 osie) i była urozmaicona w części centralnej głębokim podcieniem, w którym dach wspierało osiem grubych kolumn. Wewnętrzna elewacja galerii podcieniowej miała dekorację neogotycką. Obie części domu były przykryte kombinacją gładkich czterospadowych dachów podbitych gontami z dwiema lukarnami i czterema symetrycznymi kominami.