Poparł bojkot Igrzysk Olimpijskich w Moskwie w 1980, ale pozostawił federacjom poszczególnych dyscyplin wolną rękę odnośnie do udziału w tych zawodach. Ostatecznie pewna liczba australijskich sportowców jednak wystąpiła na moskiewskiej imprezie.
Popularność Frasera zaczęła słabnąć po wyborach z 1980, które wprawdzie koalicja pod jego wodzą wygrała, tracąc jednak przewagę w Senacie. Dodatkowo na niekorzyść rządzących działała pogarszająca się sytuacja gospodarcza. W obozie opozycyjnej ALP wyłaniał się nowy, niezwykle medialny lider w osobie Boba Hawke’a. Fraser początkowo planował wykonać ruch wyprzedzający, rozpisując przedterminowe wybory nim Hawke obejmie jeszcze oficjalnie przywództwo swej partii. Manewr ten ostatecznie się nie powiódł i lewica pod wodzą Hawke’a zdecydowanie wygrała w przeprowadzonych w 1983 wyborach. Fraser wprawdzie uratował swój własny mandat parlamentarny, ale w uznaniu swej odpowiedzialności zaraz po wyborach zrezygnował z niego.