Miał nadzieję, że wzrost gospodarczy poprawi notowania jego partii.

thumb|Major w stroju kawalera Orderu Podwiązki Wybory 1997 zakończyły się największą klęską konserwatystów po 1832. W nowym parlamencie Partia Konserwatywna uzyskała 165 miejsc. Przewaga zwycięskiej Partii Pracy wynosiła 179 głosów. Major wygrał w swoim okręgu wyborczym przewagą 18 140 głosów. 2 maja oficjalnie przekazał pieczęcie premiera królowej Elżbiecie. Królowa powołała na premiera lidera laburzystów, Tony’ego Blaira.

Na emeryturze Po wyborach Major na krótko pozostał Liderem Opozycji. Nowe wybory na lidera partii w czerwcu 1997 wygrał William Hague. Major pozostał deputowanym do 2001, kiedy zrezygnował z ubiegania się o reelekcję. W 1999 został odznaczony Orderem Kawalerów Honoru. 23 kwietnia 2005 został kawalerem Orderu Podwiązki. Odmówił przyjęcia dożywotniego tytułu parowskiego.

Major był zawsze zapalonym krykiecistą i na emeryturze poświęcił wiele uwagi swojej pasji. Do 2002 był prezydentem Surrey County Cricket Club. Od 1998 jest członkiem Carlyle Group’s European Advisory Board, w maju 2001 został przewodniczącym Carlyle Europe. Z tego stanowiska zrezygnował w sierpniu 2004. W marcu 2001 wygłosił mowę pogrzebową w Opactwie Westminsterskim dla słynnego krykiecisty, lorda Cowdreya.