Franciszek Ksawery miał trzy córki i dwóch synów: Aleksandra, który umarł w młodym wieku po upadku z konia, i Władysława, który otrzymał od cara tytuł hrabiowski (według innej wersji tytuł ten tylko potwierdzono). Najstarszy syn Władysława – Ksawery był jedną z najwybitniejszych osobowości polskiej emigracji we Francji II poł. XIX w. Był aktywistą politycznym (ze względu na swe poglądy nazywany "czerwonym hrabią"), niezwykle sprawnym finansistą (zasługując się na tym polu dla rządu i społeczeństwa Francji) oraz kolekcjonerem. Pozostawał w dużej zażyłości z członkami najbliższej rodziny cesarza Napoleona III, których przyjmował w swej francuskiej posiadłości Montrésor. Jego głównym spadkobiercą był bratanek Ksawery Branicki. Wśród innych zasłużonych dla kultury polskiej potomków Władysława Branickiego wyliczyć można Aleksandra i Konstantego – zapalonych podróżników, przyrodników i kolekcjonerów.
Kres fortuny Branickich przyszedł wraz z rewolucją bolszewicką i utratą dóbr ukraińskich. Odbiło się to zwłaszcza na sytuacji finansowej Ksawerego Branickiego, który odziedziczywszy w 1892 r.