Postawa ta, mająca w dużym stopniu wpływ na niepowodzenie przewrotu, zadecydowała o jego dalszej karierze, jaka się dokonała w ciągu następnych kilku lat. Już trzy dni później (23 sierpnia 1991) został przez Jelcyna mianowany generałem pułkownikiem i I zastępcą ministra obrony RFSRR oraz przewodniczącym Państwowego Komitetu RFSRR ds Obrony. Funkcję wiceministra obrony pełnił zaledwie przez kilka miesięcy (do grudnia 1991). W styczniu 1992 został I zastępcą naczelnego dowódcy Połączonych Sił Zbrojnych WNP. W kwietniu 1992 ponownie został rosyjskim wiceministrem obrony (I zastępca), ale tym razem już Federacji Rosyjskiej.
Minister obrony W maju 1992 został p.o., a następnie ministrem obrony FR i pierwszym w historii Rosji generałem armii. Graczow jawił się w tym okresie jako przeciwnik wycofania wojsk rosyjskich rozlokowanych poza granicami FR (głównie z krajów bałtyckich, Zakaukazia i Azji Środkowej). Deklarował się jako stronnik odpolitycznienia armii, ograniczenia jej liczebności i uzawodowienia. Przede wszystkim jednak, zyskiwał sobie coraz większe zaufanie i wpływ na samego Jelcyna. W czasie kryzysu konstytucyjnego w Rosji lat 1992–1993 był niewzruszonym stronnikiem wykazującego coraz bardziej dyktatorskie zapędy Jelcyna.