Lord Brougham popadł jednak w konflikt z innymi ministrami, gdyż często wtrącał się do prac ich departamentów. Pozostał jednak na swoim stanowisku do upadku wigowskiego gabinetu w listopadzie 1834 r. Kiedy jednak wigowie powrócili do władzy w kwietniu 1835 r. Brougham nie otrzymał już stanowiska lorda kanclerza. Urząd ten był przez rok sprawowany komisyjnie, a następnie objął go lord Cottenham.
Dalsze lata życia Brougham już nigdy nie sprawował urzędów publicznych. Brał jednak udział w pracach Izby Lordów, zwłaszcza gdy występowała ona jako sąd ostatniej instancji. W 1835 r. przyczynił się do uchwalenia Municipal Corporations Act, a w 1857 r. Married Women’s Property Act. W latach 40. popierał projekt zniesienia ustaw zbożowych.
Nadal pisał do Edinburgh Review, a jego najlepsze prace zostały opublikowane pod tytułem Sketches of the Statesmen of the time of George III. Brougham opublikował również pracę o filozofii politycznej oraz zbiór swoich mów w 4 tomach. Był także redaktorem Natural Theology Williama Paleya. Po jego śmierci ukazała się jego autobiografia.