W czasach Księstwa WarszawskiegoKsawery został powołany na stanowisko sędziego pokoju powiatu warszawskiego. Dwóch jego synów Stanisław i Mikołaj służyło w pułku szwoleżerów gwardii cesarskiej, trzeci Antoni w armii Księstwa. Kiedy wojska rosyjskie zbliżały się do Warszawy, niemłody już i schorowany Ksawery wraz z rodziną 27 stycznia 1813 wyjechał do Krakowa. Wrócił do Warszawy dopiero w marcu 1814, ale zły stan zdrowia już mu nie pozwolił zająć się sprawami majątkowymi, zmarł schorowany w Warszawie.
Z małżeństwa z Izabelą miał siedmioro dzieci; synów Stanisława, Antoniego Melitona, Mikołaja, zięcia Antoniego Bazylego Dzieduszyckiego i najmłodszego Jana Nepomucena oraz córki: Ewę, żonę Kajetana Cyrus-Sobolewskiego, Annę, żonę generała Floriana Kobylińskiego i Rozalię Tadeę, od 1821 w Zgromadzeniu Panien Kanoniczek w Warszawie
Pochowany został obok żony w kościele św. Antoniego z Padwy w Warszawie, gdzie znajduje się w krużgankach tablica poświęcona jemu i jego żonie.
Przypisy