Był ponadto Wysokim Stewardem St Albans w latach 1783–1807, burmistrzem tego miasta w 1790 r., prezesem Royal Institution w latach 1813–1825 i komisarzem ds. przychodów publicznych w 1831 r. Od 1780 r. był członkiem Towarzystwa Królewskiego. Zmarł w 1834 r. Został pochowany 19 listopada w Great Brington.
Życie prywatne thumb|Lavinia, lady Spencer 6 marca 1781 r. w Londynie poślubił lady Lavinię Bingham (27 lipca 1762 – 8 czerwca 1831), córkę Charlesa Binghama, 1. hrabiego Lucan, i Margaret Smith, córki sir Jamesa Smitha. George i Lavinia mieli razem sześciu synów i trzy córki: John Charles Spencer (30 maja 1782 – 1 października 1845), 3. hrabia Spencer Sarah Spencer (29 lipca 1787 – 13 kwietnia 1870), żona William Lytteltona, 3. barona Lyttelton, miała dzieci Richard Spencer (18 października 1789 – 20 stycznia 1791) Robert Cavendish Spencer (24 października 1791 – 4 listopada 1830) William Spencer (1792) Harriet Spencer (1793) Georgiana Charlotte Spencer (1794 – 21 lutego 1823), żona George’a Quina, miała dzieci Frederick Spencer (14 kwietnia 1798 – 27 grudnia 1857), 4.