Po powrocie wigów do władzy w 1846 r. Grey otrzymał stanowisko ministra spraw wewnętrznych. W trakcie sprawowania swojego urzędu zmierzył się min.: z problemem klęski głodu w Irlandii, powstania na wyspie, rozruchami w Londynie wywołanymi przez czartystów. W 1852 r. przegrał wybory parlamentarne. Do Izby Gmin powrócił w styczniu 1853 r. jako reprezentant okręgu Morpeth.
Początkowo odmówił przyjęcia stanowiska w koalicyjnym gabinecie Aberdeena, ale ostatecznie w czerwcu 1854 r. przyjął tekę ministra kolonii. W latach 1855 – 1858 był ministrem spraw wewnętrznych w rządzie Palmerstona. Po powrocie wigów do władzy (już pod szyldem Partii Liberalnej) w 1859 r. Grey został Kanclerzem Księstwa Lancaster, w 1861 r. po raz trzeci został ministrem spraw wewnętrznych. Pozostał nim do upadku liberalnego gabinetu w 1866 r. W parlamencie zasiadał do 1874 r., ale nie sprawował już żadnego stanowiska.
Późniejsze życie Po wycofaniu się z czynnego życia publicznego Grey zamieszkał w swojej posiadłości Fallodon w hrabstwie Northumberland. Był żonaty z Anną Sophią Ryder, córką Henry’ego Rydera, biskupa Lichfield. Miał z nią jednego syna, George’a Henry’ego Greya, który zmarł przed ojcem w 1874 r. George zmarł w 1882 r.