W latach 1784–1802 dokupił on Brzechowo i Swierczynko, przyłączając w ten sposób również grunty Kozłowa należące do Brzechowa. Sebastian umarł w 1831 roku. Samo Kozłowo odziedziczyli synowie: najpierw Symforian vel Jan, a następnie Ignacy, który w 1841 roku był zmuszony wystawić Kozłowo na licytację, na której dobra kupił jego stryjeczny brat Wiktor Kozłowski, syn Kajetana. Wiktor odstąpił Kozłowo bratu Antonie­mu, ale ten dostał pomieszania zmysłów i w Kozłowie gospodarował, jak się zdaje, inny brat, Leon. Po bezdzietnej śmierci zarówno Antoniego, jak i Leona dobra ponownie zostały wystawione na licytację, na której w 1863 roku kupił Kozłowo Władysław Kozłowski syn wspomnianego wyżej Wiktora. Po śmierci Władysława w 1893 roku Kozłowo liczące około 322 ha dziedziczyło jego 6 dzieci. Z nich w wyniku działów rodzinnych przy Kozłowie utrzymał się syn Kajetan – Piotr ur. 26.11. 1859 r. w Krajkowie parafia Zagroba, zmarł on bezdzietnie w 1929 roku w majątku Kozłowie, a Kozłowo przypadło jego bratankowi, synowi Jana Stanisława, Stefanowi Kozłowskiemu. Jego żona Lucyna z Żórawskich zmarła w 1939 roku. Jednak już w czasie wojny zarząd nad majątkiem przejęli Niemcy. W 1945 roku dobra zostały rozparcelowane przez władzę ludową