Dwukrotnie żonaty. Po raz pierwszy z Józefą, córką kpt. Józefa Lemańskiego herbu Bukowczyk i Magdaleny z Zalewskich. Ślubowali w Jazgarzewie 4 lutego 1815 roku. Józefa była wdową po Tadeuszu Maszewskim dzierżawcy majątku Chorynów. Zmarła niosąc pomoc rannym i chorym powstańcom listopadowym "Gazeta Polska", 1831.03.29, nr 85. Drugą żoną Hilarego została Kamila z Tabędzkich, córka Józefa i Amalii. Ich ślub odbył się w Warszawie 9 października 1835 roku.
Jeden ze spadkobierców Hilarego Ostrowskiego Robert Ostrowski wraz z żoną Julią z Michałowskich odziedziczył po nim dobra Pieścirogi oraz Kosewo i Mokrzyce. Udało mu się znacznie rozbudować folwark i zbudować dwór w Pieścirogach Olszanach. Jednak tak on jak i inni spadkobiercy Hilarego Ostrowskiego z czasem wpadli w kłopoty finansowe, typowe dla sytuacji ówczesnej szlachty po powstaniu styczniowym i uwłaszczeniu przez carat chłopów. W księgach hipotecznych można znaleźć wzmianki o jego długach i pożyczkach obciążających majątki. Natomiast inny spadkobierca Hilarego Ostrowskiego Michał Ostrowski pod koniec XIX wieku był już tylko administratorem cudzych majątków w pobliżu Nasielska.