W 1946 został wiceliderem swej partii, a po zwycięskich dla niej wyborach w 1949 objął tekę ministra rolnictwa. W tym samym roku został powołany na nowo utworzony urząd wicepremiera Nowej Zelandii. Schorowany premier Sidney Holland przekazał mu stery na dwa miesiące przed wyborami w 1957. Notowania partii były już jednak na tyle złe, że Holyoake nie zdołał zapobiec przegranej na rzecz Partii Pracy i narodowcy znaleźli się w opozycji.
Kolejna kampania wyborcza, w 1960, była już w całości przygotowana pod kierunkiem Holyoake'a i przyniosła jego partii powrót do władzy, co dla niego oznaczało ponowne objęcie stanowiska premiera. Rządził przez dwanaście lat, trzykrotnie uzyskując reelekcję. Do jego najważniejszych osiągnięć zalicza się m.in. zniesienie w Nowej Zelandii kary śmierci, które przeforsował w 1961 wbrew stanowisku większości własnego zaplecza politycznego. Ustąpił ze stanowiska w lutym 1972, chcąc umożliwić swemu protegowanemu i następcy, Jackowi Marshallowi, płynne przejęcie władzy w partii i rządzie na wystarczająco długo przed wyborami. Marshall nie podołał wprawdzie zadaniu i narodowcy ponownie znaleźli się w opozycji, ale w trzy lata później powrócili do władzy pod wodzą Roberta Muldoona, który specjalnie z myślą o Holyoake'u utworzył urząd ministra stanu.