Życie prywatne 30 lipca 1892 r. poślubił lady Evelyn FitzMaurice (27 sierpnia 1870 – 2 kwietnia 1960), córkę Henry’ego Petty-Fitzmaurice’a, 5. markiza Lansdowne, i lady Maud Hamilton, córki 1. księcia Abercorn. Victor i Evelyn mieli razem dwóch synów i pięć córek: Edward William Spencer Cavendish (6 maja 1895 – 26 listopada 1950), 10. książę Devonshire Maud Louisa Emma Cavendish (20 kwietnia 1896 – 30 marca 1975), żona kapitana Angusa Mackintosha i brygadiera-generała George’a Baillie’ego, miała dzieci z obu małżeństw Blanche Katharine Cavendish (2 lutego 1898–1987), żona podpułkownika Ivana Cobbolda, miała dzieci Dorothy Evelyn Cavendish (28 lipca 1900 – 21 maja 1966), żona premiera Harolda Macmillana, miała dzieci Rachel Cavendish (22 stycznia 1902 – 2 października 1977), oficer Orderu Imperium Brytyjskiego, żona Jamesa Stuarta, 1. wicehrabiego Stuart of Findhorn, miała dzieci Charles Arthur Francis Cavendish (29 sierpnia 1905 – 23 marca 1944), ożenił się z Adele Astaire, miał dzieci Anne Cavendish (20 sierpnia 1909–1981), odznaczona Orderem Imperium Brytyjskiego, żona podpułkownika Henry’ego Hunloke’a, miała dzieci
Linki zewnętrzne thepeerage.com Biogram księcia na stronach gubernatora generalnego Kanady