W 1981 został parlamentarnym prywatnym sekretarzem, a w 1983 asystentem whipa. W 1985 został podsekretarzem stanu w ministerstwie zabezpieczenia socjalnego. W 1986 został ministrem stanu w tym departamencie. Po wyborach 1987 został członkiem gabinetu jako naczelny sekretarz skarbu. 24 lipca 1989 został ministrem spraw zagranicznych. Na tym stanowisku pozostał tylko przez 3 miesiące, obejmując następnie stanowisko kanclerza skarbu. Miał okazję przedstawić projekt tylko jednego budżetu (prezentacji dokonał podczas pierwszej transmisji telewizyjnej tego typu wydarzenia).
Po rezygnacji urzędującej premier Margaret Thatcher w wyborach na lidera konserwatystów w 1990 został jednym z kandydatów w drugiej turze głosowań. Jego kontrkandydatami byli Michael Heseltine i Douglas Hurd. 27 listopada odbyło się głosowanie, które wygrał Major uzyskując 185 głosów. 28 listopada nowy lider Partii Konserwatywnej udał się do Pałacu Buckingham, gdzie królowa Elżbieta II powołała go na premiera Wielkiej Brytanii.
Na czele Rządu Jej Królewskiej Mości Początek jego rządów przypadł na okres kryzysu w Zatoce Perskiej, kiedy irackie wojska Saddama Husajna zajęły Kuwejt.