W styczniu 1943 został szefem sztabu Zarządu Wojsk Pancernych i Zmechanizowanych Frontu Karelskiego, a w marcu 1944 dowódcą wojsk pancernych i zmechanizowanych 32 Armii, wchodzącej w skład Frontu Karelskiego.
W 1945 będąc pułkownikiem został skierowany do Akademii Wojsk Pancernych i Zmechanizowanych, którą ukończył w 1947. Został mianowany dowódcą pułku czołgów, a następnie kolejno pełnił funkcje: szefa sztabu dywizji pancernej, dowódcy dywizji zmechanizowanej. W tym czasie ukończył w 1951 Wojskową Akademię Sztabu Generalnego. Od 1960 I zastępca dowódcy Moskiewskiego Okręgu Wojskowego. W 1964 mianowany I zastępcą dowódcy Leningradzkiego Okręgu Wojskowego, a w 1965 został dowódcą Leningradzkiego Okręgu Wojskowego.
W 1967 mianowany I zastępcą ministra obrony ZSRR. W 1978 mianowany Marszałkiem Związku Radzieckiego. W dniu 28 kwietnia 1980 wyróżniony tytułem Bohatera Związku Radzieckiego za osobiste męstwo i umiejętne dowodzenie wojskami podczas interwencji wojsk radzieckich w AfganistanieСергей Леонидович Соколов – Герои страны. W dniu 22 grudnia 1984 mianowany ministrem obrony ZSRR, funkcję pełnił do 30 maja 1987, kiedy to został zdymisjonowany przez Michaiła Gorbaczowa pod pretekstem dopuszczenia do wdarcia się przez niemieckiego pilota-amatora Mathiasa Rusta w przestrzeń powietrzną ZSRR i wylądowania na Placu Czerwonym.