Po upadku miasta razem z innymi dowódcami radzieckimi, został ewakuowany na okręt podwodny, gdzie przeżywając porażkę, próbował popełnić samobójstwo.
Od marca 1943 był szefem sztabu, a od maja tego roku dowodził Frontem Północno-Kaukaskim. Brał udział w operacji noworosyjsko-tamańskiej, w walkach przy wyzwalaniu półwyspu Tamańskiego oraz Majkopu, Krasnodaru i Noworosyjska.
20 listopada 1943, na podstawie dyrektywy Stawki WGK z 15 listopada 1943, Front Północno-Kaukaski został przekształcony w odrębną Armię Morza Czarnego. 4 lutego 1944 za nieudolne dowodzenie został odwołany ze stanowiska dowódcy Armii Morza Czarnego, zdegradowany do stopnia generała pułkownika i przeniesiony do rezerwy.
Od 13 marca 1944 dowodził 33 Armią Frontu Zachodniego, od 12 kwietnia 2 Frontem Białoruskim, a od 6 sierpnia 4 Frontem Ukraińskim. 26 października został ponownie awansowany na stopień generała armii, a w marcu 1945 mianowany szefem sztabu 1 Frontu Ukraińskiego.
29 maja 1945, za umiejętne kierowanie wojskami w operacjach berlińskiej i praskiej otrzymał tytuł Bohatera Związku Radzieckiego.