Od lipca 1957 do kwietnia 1960 i od sierpnia 1961 do stycznia 1962 był I zastępcą głównodowodzącego Grupy Wojsk Armii Radzieckiej w NRD, a od kwietnia 1960 do sierpnia 1961 i od stycznia 1962 głównodowodzącym tej grupy. W 1965 mianowany dowódcą Kijowskiego Okręgu Wojskowego.

W 1967 mianowany I zastępcą ministra obrony ZSRR, a w lipcu 1967 równocześnie dowódcą naczelnym Zjednoczonych Sił Zbrojnych Państw Stron Układu Warszawskiego, którą to funkcję pełnił do śmierci. 12 kwietnia 1967 mianowany marszałkiem Związku Radzieckiego.

Zmarł 30 listopada 1976 w Moskwie i został pochowany na Cmentarzu przy Murze Kremlowskim.

Awanse pułkownik – 30 listopada 1942 generał-major wojsk pancernych – 20 kwietnia 1945 generał-porucznik wojsk pancernych – 3 sierpnia 1953 generał-pułkownik – 18 lutego 1958 generał armii – 27 kwietnia 1962 marszałek Związku Radzieckiego – 12 kwietnia 1967