W 1941 wziął udział w operacji Barbarossa. W styczniu 1942 awansował na generała porucznika i objął dowództwo nad XIX Korpusem Górskim, jednym z oddziałów niemieckiej armii w Finlandii. Jego korpus brał udział w nieudanym ataku na Murmańsk, który doprowadził do sytuacji patowej na froncie. Wówczas wypowiedział swoje słynne zdanie: „Arktis ist nichts” („Arktyka to nic”), w którym wyraził swoją wiarę w odporność niemieckich żołnierzy na warunki klimatyczne.
Później, od listopada 1943 do stycznia 1944 dowodził XXXX Korpusem Pancernym na froncie wschodnim. W marcu 1944 został dowódcą Grupy Armii A, a w maju tego samego roku – dowódcą Grupy Armii Południowa Ukraina. Początkowo uważał, że krymski port w Sewastopolu powinien zostać utrzymany bez względu na utratę samego Krymu. Jednak później zmienił zdanie i próbował nakłonić Hitlera do wydania zgody na wycofanie się z portu nad Morzem Czarnym. Odwrót nastąpił za późno, wskutek czego niemiecko-rumuńska 17 armia, stacjonująca na Krymie, poniosła poważne straty. Wielu żołnierzy oczekujących na portowym molo na ewakuację zostało zabitych lub wziętych do niewoli. Późną wiosną 1944 Schörnerowi udało się po serii bitew ustabilizować załamujący się front na południowym brzegu Dniestru w Rumunii.