Był pierwszą osobą, która po rezygnacji z tytułu parowskiego powróciła do izby wyższej jako par dożywotni.
Po porażce Partii Konserwatywnej w wyborach 1974 lord Hailsham ogłosił wycofanie się z polityki. Jednak po śmierci swojej żony Mary w wypadku podczas jazdy konnej w Sydney w 1978 zdecydował się na powrót na scenę polityczną. Rok później konserwatyści wygrali wybory i premier Margaret Thatcher powierzyła Hailshamowi stanowisko Lorda Kanclerza. Hailsham był nim do 1987, kiedy ostatecznie wycofał się z polityki.
Lord Hailsham został w 1975 odznaczony Orderem Kawalerów Honorowych. W 1988 został kawalerem Orderu Podwiązki. Zmarł w 2001. Tytuł wicehrabiego Hailsham odziedziczył jego najstarszy syn, Douglas.
Rodzina Jego pierwszą żoną była Natalie Sullivan. Małżeństwo to zostało zwarte w 1931 i zakończyło się rozwodem w 1943 z powodu romansu żony z szefem sztabu generała de Gaulle’a, François Couletem. Hogg poślubił następnie Mary Evelyn Martin w 1944. Mary zginęła w 1978 w wypadku podczas jazy konnej. W 1986 Hogg poślubił swoją trzecią żonę, Deirdre Margaret Shannon Aft, która zmarła w grudniu 1998.