Henry i Elisabeth mieli razem trzech synów i córkę: Charles Richard Fox (1796 – 13 kwietnia 1873), urodził się przed małżeństwem rodziców, więc nie miał prawa do tytułów ojca, ożenił się z lady Mary Fitzclarence (nieślubną córką króla Wilhelma IV), nie miał dzieci, zgromadził kolekcję greckich monet, która znajduje się obecnie w muzeum w Berlinie Stephen Fox (1799–1800) Henry Edward Fox (7 marca 1802 – 18 grudnia 1859), 4. baron Holland Mary Elisabeth Fox (19 lutego 1806 – 7 grudnia 1891), żona Thomasa Powysa, 3. barona Lilford, miała dzieci (min. słynnego brytyjskiego ornitologa, Thomasa Powysa, 4. barona Lilford)
Holland zajął przynależne sobie miejsce w Izbie Lordów 5 października 1796 r. Odgrywał tam bardzo prominentną rolę, de facto przewodząc tam partii wigów. W 1800 r. przyjął nazwisko Vassall-Fox, zaś od 1807 r. tym nazwiskiem podpisywał dokumenty. W 1806 r., razem z lordem Aucklandem, negocjował z Jamesem Monroem i Williamem Pinkneyem brytyjsko-amerykański traktat, który nie został ratyfikowany przez stronę amerykańską. 27 sierpnia 1806 r.