W późniejszym okresie swego życia pełnił funkcję sędziego przy Trybunale Piotrkowskim oraz podkomorzego wschowskiego. Zmarł w roku 1740. Józef Stefan miał siedmioro dzieci (pięciu synów i dwie córki). Na dobrach jarocińskich skupił się ostatni syn Józefa Stefana – Jan, a największą karierę zrobił Józef Stanisław. Podobnie jak ojciec był podkomorzym wschowskim, a w polskim wojsku doszedł do stopnia chorążego. W roku 1757 poślubił Katarzynę Raczyńską. W 1774 roku z rąk króla Stanisława Augusta Poniatowskiego otrzymał miejscowości Jeziorki, Słupia oraz Piekary jako „wieczystą darowiznę”. Zmarł w roku 1781.
Córką Józefa Stanisława i Katarzyny była Wirydianna (1761 – 1826), która dwukrotnie wychodziła za mąż. Jej pierwszym mężem był poślubiony w roku 1788 Maciej Antoni z Kwilcza Kwilecki, herbu Śreniawa. Był on szambelanem królewskim oraz starostą wschowskim. Małżeństwo to nie należało do udanych. Po jego śmierci Wirydianna wyszła za mąż za generała Stanisława Fiszera, szefa sztabu armii Księstwa Warszawskiego i wieloletniego przyjaciela Tadeusza Kościuszki. Wirydianna poznała Fiszera dzięki Kościuszce w Paryżu. Ich małżeństwo nie należało do łatwych. Mimo posiadania wieli dóbr, Wirydianna żyjąc wystawnie zarówno w swych posiadłościach w Wielkopolsce, Warszawie jak i w Paryżu często musiała zabiegać o pożyczki wśród rodziny.