Gabinet Newcastle’a upadł w listopadzie 1756 r. Po odejściu ze stanowiska były premier otrzymał tytuł 1. księcia Newcastle-under-Lyne. W lipcu 1757 r. ponownie stanął jednak na czele rządu, chociaż to William Pitt grał pierwsze skrzypce w jego gabinecie. Pitt nie radził sobie jednak jako lider frakcji wigów i potrzebował talentu Newcastle’a do zdobywania sojuszników politycznych, jak i pieniędzy księcia. Pisarz i polityk Horace Walpole rzekł, że „Mr. Pitt robi wszystko, Książę zaś daje wszystko”. Pod tym rządem zwanym: „Broad bottom government” (Gabinet szerokiego tyłka), Wielka Brytania zdobyła francuską Kanadę i założyła tzw. pierwsze Imperium Brytyjskie.
Ostatnie lata Nowy król Jerzy III (od 1760 r.) nie lubił Pitta i podważywszy jego pozycję, uczynił premierem lorda Bute, który zastąpił Newcastle’a w maju 1762 r. Książę przeszedł do zdecydowanej opozycji. Sprzeciwiał się pokojowi paryskiemu z 1763 r. Król ukarał go zabraniem mu obu jego namiestnictw hrabstw. Książę spędzał w tym okresie większość czasu w swojej rezydencji w Claremont.