Fraser szybko dał się poznać jako przedstawiciel bardziej umiarkowanego skrzydła Partii Pracy - stanowczo odcinał się od komunizmu i żądał usunięcia jego wyznawców z szeregów ugrupowania. Kiedy w 1933 Holland zmarł, Fraser starał się po schedę po nim, lecz uległ w wyborach swemu staremu przyjacielowi Savage’owi i musiał zadowolić się stanowiskiem jego zastępcy. Dwa lata później Partia Pracy po raz pierwszy wygrała wybory i sformowała gabinet, w którym Fraser odpowiadał za sprawy ochrony zdrowia, edukacji, policji i kwestie morskie. Po kolejnych zwycięskich wyborach w 1938, Fraser zaczął przejmować coraz więcej obowiązków od chorego na raka premiera. Po śmierci Savage’a w 1940 Fraserowi udało się przekonać partyjnych kolegów do powierzenia mu funkcji szefa partii i rządu, jednak pod warunkiem, że ostateczną decyzję w sprawie obsady personalnej gabinetu podejmować będzie nie premier, lecz władze partyjne (pozostało to tradycją rządów labourzystowskich w Nowej Zelandii do dziś).