Od czerwca 1940 dowódca 194 Dywizji Piechoty, a od października inspektor piechoty w Środkowoazjatyckim Okręgu Wojskowym. W marcu 1941 został mianowany dowódcą 27 Korpusu Zmechanizowanego utworzonego w Azji Środkowej.
II wojna światowa W chwili ataku Niemiec na ZSRR 27 Korpus Zmechanizowany po zakończeniu formowania został wysłany do Briańska. 8 lipca 1941 Sztab Generalny RKKA, na podstawie doświadczeń z pierwszych dni wojny podjął decyzję o rozformowaniu korpusu i reorganizacji dostępnych dywizji pancernych. 15 lipca 1941 27 Korpus Zmechanizowany został rozformowany, a Iwan Pietrow objął dowództwo 1 Dywizji Kawalerii.
20 sierpnia 1941 został dowódcą 25 Czapajewskiej Dywizji Piechoty, z którą uczestniczył w obronie Odessy, a 5 października 1941 objął dowództwo Samodzielnej Armii Nadmorskiej i kierował ewakuacją wojsk radzieckich z Odessy na Krym. Był jednym z dowódców obrony Sewastopola. Od listopada do grudnia 1941 wojska radzieckie pod dowództwem Iwana Pietrowa, wraz z marynarzami Floty Czarnomorskiej, odparły dwa natarcia 11 Armii Niemieckiej pod dowództwem gen. Ericha von Mansteina. W okresie czerwiec – lipiec 1942, przez 4 tygodnie, odpierał kolejne natarcia przewyższających sił niemieckich.