Był ministrem stanu ds. przemysłu i technologii informacyjnej w latach 1981–1984 oraz ministrem stanu ds. samorządu lokalnego w latach 1984–1985. W 1985 r. został członkiem gabinetu jako minister środowiska. W latach 1986–1989 stał na czele resortu edukacji. Na tym stanowisku odpowiadał za uchwalenie Education Act z 1988 r., który wprowadzał kontrowersyjnym program nauczania "National Curriculum". Baker wprowadził również obowiązkowe szkolenia dla nauczycieli znane jako "Baker days".
W 1989 r. został przewodniczącym Partii Konserwatywnej i Kanclerzem Księstwa Lancaster. Pozostał na tym stanowisku do rezygnacji Margaret Thatcher z funkcji lidera partii w listopadzie 1990 r. Nowy lider konserwatystów, John Major, mianował Bakera ministrem spraw wewnętrznych. Okres urzędowania Bakera na tym stanowisku do czas rozruchów w więzieniach oraz wprowadzenia Dangerous Dogs Act.
Po wyborach 1992 r. Baker opuścił gabinet nie chcąc objąć stanowiska ministra ds. Walii. W 1997 r. zrezygnował z ubiegania się o mandat parlamentarny. Został kreowany parem dożywotnim jako baron Baker of Borking i zasiadł w Izbie Lordów.