Józef Kajetan Ossoliński jako dziedzic Był dziedzicem klucza Rudka, Starej Wsi i Czerniakowa (dzielnica Warszawy) Wykupił od Ledóchowskich rodzinny Ossolin, już bez renesansowego zamku fundacji kanclerza Jerzego Ossolińskiego, który zburzyli Ledóchowscy. Był dwukrotnie żonaty po raz pierwszy w Teresą Miączyńską (ur. 1760) - z d. Rafałowicz rozwiedzioną z Kajetanem Miączyńskim, a w 1781 roku z Marią Barbarą Zaleską, lecz po rozwodzie z nią w 1802 roku, poślubił Katarzynę Grabieńską (ur. 1780 r.) i miał z nią syna Wojciecha Grzegorza Ossolińskiego (1796–1842)
Z drugiego małżeństwa z Zaleską miał córkę Konstancję Ossolińską (ur. 1783 w Rudce - 7 grudnia 1868)-generałową, i syna, Wiktora (1790–1860). Żona Maria Barbara Zaleska (1760–1813) w 1781 r. wniosła mu w posagu dobra Grodzisk, Siemiony i Rejowiec w lubelskim.
Działalność polityczna i kariera Poseł na sejm 1780 roku z ziemi drohickiejDyaryusz Seymu Ordyngo [!] Warszawskiego Roku 1780 Dnia 2go Pazdziernika Zaczętego, z Wyrażeniem Posłow, Sessyi, Projektow, Mow, &c., Grodno 1780, s. 11.. W 1782 roku został kawalerem Orderu Świętego StanisławaZbigniew Dunin-Wilczyński, Order Św. Stanisława, Warszawa 2006 s. 189..