7 lutego 1747 r. ożenił się z Emilią Mary Lennox (6 października 1731 – 27 marca 1814), córką Charlesa Lennoxa, 2. księcia Richmond i Lennox, oraz lady Sarah Cadogan, córki 1. hrabiego Cadogan. James i Emilia mieli razem sześciu synów i dwie córki: George FitzGerald (15 stycznia 1748 – 26 września 1765), hrabia Offaly William Robert FitzGerald (13 marca 1749 – 20 października 1804), 2. książę Leinster Emily Maria Margaret FitzGerald (15 marca 1751 – 8 kwietnia 1818), żona Charlesa Coote’a, 1. hrabiego Bellomont, miała dzieci Charles James FitzGerald (30 czerwca 1756 – 18 lutego 1810), 1. baron Lecale Charlotte Mary Gertrude FitzGerald (29 maja 1758 – 12 września 1836), 1. baronowa Rayleigh, poślubiła finansistę Josepha Holdena Strutta, miała dzieci Henry FitzGerald (30 lipca 1761 – 9 lipca 1829) Edward FitzGerald (15 października 1763 – 4 czerwca 1798) Robert Stephen FitzGerald (1765 – 2 stycznia 1833), ożenił się z Sophią Fielding, miał dzieci
Książę zmarł w Leinster House w wieku 51 lat. Został pochowany w Christ Church Cathedral w Dublinie. Tytuł książęcy przypadł jego najstarszemu synowi.
Kategoria:Arystokracja brytyjska Kategoria:Urodzeni w 1722 Kategoria:Zmarli w 1773