Książę utrzymywał bliskie stosunki z rodziną królewską. W 1822 r. w jego posiadłości w Dalkeith Palace gościł król Jerzy IV. Była to pierwsza wizyta króla z dynastii hanowerskiej w Szkocji. W 1842 r. księcia odwiedziła królowa Wiktoria. Król Jerzy IV był ponadto sponsorem ślubu księcia oraz chrzcin jego najstarszego syna. Książę uczestniczył również w koronacjach Wilhelma IV (1830) i Wiktorii (1837) jako Gold Stick, prywatny strażnik osoby królewskiej.
Książę, mimo bogactwa i wpływów był bardzo skromnym człowiekiem. Pisano o nim, że jego wysoka pozycja i ogromne posiadłości uczyniły go kimś w rodzaju „grand seigneur”, a mimo tego jego zwyczaje pozostały proste, a wyglądem przypominał bardziej Starszego Kirku niż księcia. Ubierał się zawsze w szary płaszcz, pasterskie spodnie i czapkę z dużym daszkiem. Jego maniery były opryskliwe, ale nikt nie miał bardziej dobrotliwego serca.
Kariera polityczna księcia dobiegła końca wraz z upadkiem Peela w 1846 r., związanym z podziałami w łonie konserwatystów po zniesieniu ustaw zbożowych. Książę usunął się do swych posiadłości. W 1877 r. został Kanclerzem Uniwersytetu Glasgow.