Gladstone zrezygnował ze stanowiska premiera w 1885 r., kiedy obarczono go winą za śmierć generała Gordona w Chartumie. Powrócił do władzy w 1886 r. Dodatkowo został również lordem tajnej pieczęci. Ponieważ liberałowie nie posiadali większości w parlamencie, do sprawowania rządów potrzebne były im głosy irlandzkich nacjonalistów. Ceną Irlandczyków za poparcie gabinetu było przyznanie Irlandii autonomii. Rząd przedstawił projekt Home Rule Bill, ale upadł on w drugim czytaniu i przyczynił się rozłamu w Partii Liberalnej. Gladstone zrezygnował ze stanowiska premiera jeszcze w 1886 r.
Czwarty i ostatni raz Gladstone był premierem w latach 1892–1894. Ponownie próbował doprowadzić do uchwalenia Home Rule Bill, znów odrzuconej przez parlament. Zrezygnował w marcu 1894 r. W Izbie Gmin zasiadał jeszcze przez rok. Zmarł w 1898 r. i został pochowany w Opactwie Westminsterskim.
Gabinet Williama Ewarta Gladstone’a Pierwszy gabinet, grudzień 1868 – luty 1874