Jednak styl prowadzenia przez niego agitacji (prezentowanie publicznie nowo narodzonego dziecka, czy też rozdawanie odznak z literą „Q”) nie zyskał uznania wśród członków partii i nowym premierem został ostatecznie innych członek Izby Lordów, Alec Douglas-Home, który zrezygnował z tytuł hrabiego Home. Hailsham również zrezygnował ze swojego tytułu i wygrał wybory uzupełniające w okręgu St Marylebone.
Za czasów Douglasa-Home Hogg utracił stanowisko przewodniczącego Izby Lordów. Pozostał jednak Lordem Przewodniczącym Rady oraz młodszym ministrem ds. sportu (urząd ten utworzono w 1962 i Hogg był jego pierwszą osobą na tym stanowisku). W 1964 został ministrem edukacji i nauki. Stanowisko to utrzymał tylko przez kilka miesięcy, gdyż w rozpisanych na ten rok wyborach zwyciężyła Partia Pracy.
Lord Kanclerz Hogg sprawował różne stanowiska w konserwatywnych gabinetach cieni Douglasa-Home’a i Edwarda Heatha. Po powrocie konserwatystów do władzy w 1970 został mianowany Lordem Kanclerzem. Ponieważ to stanowisko mogło być piastowane tylko przez członka Izby Lordów Hogg zrezygnował z miejsca w Izbie Gmin i został kreowany parem dożywotnim jako „baron Hailsham of St Marylebone”.