15 marca 1939 został przydzielony do 3./ZG 76, w której pilotował Bf 110.
II wojna światowa Jako członek ZG 76 wziął udział w operacji Fall Weiss (agresji Niemiec na Polskę 1 września 1939). Nad Polską odniósł swoje pierwsze potwierdzone powietrzne zwycięstwo (5 września strącił samolot PWS).
8 kwietnia 1940 Gollob został wyznaczany na dowódcę eskadry (Staffelkapitän) 3./ZG 76. Jego jednostka wzięła udział w Operacji Weserübung, w której odniósł dwa zwycięstwa nad Norwegią. Rok później zestrzelił Spitfire'a podczas walk nad Wielką Brytanią.
W 1941 jednostka wzięła udział w Operacji Barbarossa. Parę dni po rozpoczęciu walk, 27 czerwca został wyznaczony dowódcą grupy (Gruppenkommandeur) II./JG 3, i awansowany do stopnia kapitana (hauptmann). W stosunku do słabo wyszkolonych pilotów radzieckich sił powietrznych, Gollob mógł pokazywać swoje umiejętności - w sierpniu zestrzelił 18 wrogich maszyn, a 18 września został odznaczony Krzyżem Rycerskim Krzyża Żelaznego za 42 zwycięstwa. W październiku odniósł 37 zwycięstw, w tym 9 w jednym dniu (18 października). 26 października został odznaczony Liśćmi Dębu za odniesienie 85 zwycięstw. W grudniu rozpoczął testy następnej wersji Bf 109.