II wojna światowa W 1939 wziął udział w wojnie zimowej, początkowo jako dowódca batalionu czołgów, później szef sztabu 35 Brygady Pancernej, wreszcie zastępca dowódcy dywizji pancernej. W maju 1941, już jako pułkownik, został szefem sztabu 3 Korpusu Zmechanizowanego i to stanowisko zajmował w dniu niemieckiej agresji na ZSRR. Walcząc na terenie Litwy, znalazł się w okrążeniu, z którego udało mu się wyrwać wraz z grupą żołnierzy. We wrześniu 1941 objął dowództwo 9 Brygady Pancernej, na której czele brał udział w walkach pod Starą Russą, Kalininem i Klinem. Wiosną 1942 został awansowany do stopnia generała, objął dowodzenie 7 Korpusem Pancernym, który od jesieni tego roku uczestniczył w walkach pod Stalingradem. Podczas kontrofensywy radzieckiej w grudniu 1942 bronił rubieży rzeki Myszkowa, nie pozwalając wojskom niemieckim dowodzonym przez feldmarszałka Ericha von Mansteina przebić się do 6 Armii feldmarszałka Friedricha Paulusa. Pod Kurskiem obaj dowódcy znowu się spotkali. Rotmistrow dowodził wówczas 5 Gwardyjską Armią Pancerną, walczącą w składzie Frontu Stepowego gen. Iwana Koniewa. W dniach 11–12 lipca 1943 jego wojska wzięły udział w słynnym boju pancernym pod Prochorowką.