Grey ożenił się 18 listopada 1794 z Marią Elżbietą Ponsonby (1776–1861), jedyną córką Wilhelma Ponsonby, 1. barona Ponsonby z Imokilly i Luizy Molesworth. Pomiędzy 1796 a 1819 para miała dziesięciu synów i sześć córek:
Luiza Elżbieta Grey (7 kwietnia 1797 – 26 listopada 1841); wyszła za Jana Lambtona, 1. hrabiego Durham; Elżbieta Grey (10 lipca 1798 – 8 listopada 1880); wyszła za Jana Crockera Bulteela. Ich córka, Luiza Emilia Karolina Bulteel, jest jednym z przodków Diany, Księżnej Walii, poprzez małżeństwo z Edwardem Baringiem, 1. baronem Revelstoke; Karolina Grey (30 sierpnia 1799 – 28 kwietnia 1875); wyszła za kapitana Jerzego Barringtona; Georgiana Grey (17 lutego 1801 – 1900); nigdy nie wyszła za mąż; Henryk Jerzy Grey, 3. hrabia Grey (28 grudnia 1802 – 9 października 1894); najstarszy syn, podobnie jak ojciec został politykiem; Generał Karol Grey (15 marca 1804 – 31 marca 1870); ojciec Alberta Greya, 4. hrabiego Grey; Admirał Fryderyk Wilhelm Grey (23 sierpnia 1805 – 2 maja 1878); Maria Grey (2 maja 1807 – 6 lipca 1884); wyszła za mąż Karola Wooda, 1.