Rezygnacja Gowera w 1779 r. była spowodowana jego protestem przeciwko zbyt miękkiej, jego zdaniem, polityce rządu lorda Northa wobec zbuntowanych kolonii amerykańskich. W 1786 r. otrzymał tytuł 1. markiza Stafford. Z czynnego życia publicznego wycofał się w 1794 r. Zmarł w roku 1803.
Rodzina 23 grudnia 1744 r. poślubił Elizabeth Fazakerley (zm. 19 maja 1746), córkę Nicholasa Fazakerleya. Elizabeth zmarła na ospę. Małżeństwo to było bezdzietne.
thumb|Louisa, lady Macdonald 28 marca 1748 r. poślubił lady Louisę Egerton (30 kwietnia 1723 – 14 marca 1761), córkę Scroopa Egertona, 1. księcia Bridgewater, i lady Rachael Russell, córki 2. księcia Bedford. Granville i Louisa mieli razem syna i trzy córki: Louisa Leveson-Gower (zm. 29 lipca 1827), żona sir Archibalda MacDonalda, 1. baroneta Anne Leveson-Gower (zm. 16 listopada 1832), żona Edwarda Harcourta Margaret Caroline Leveson-Gower (2 listopada 1753 – 27 stycznia 1824), żona Fredericka Howarda, 5. hrabiego Carlisle George Leveson-Gower (9 stycznia 1758 – 19 lipca 1833), 1. książę Sutherland