Z tego powodu zbuntowany parlament ogłosił jego następcą Władisława Aczałowa, którego po zdławieniu puczu osadzono w więzieniu. Wielokrotnie deklarował, że armia popiera prezydenta i dał temu wyraz w czasie krwawej rozprawy Jelcyna z opozycją w październiku 1993, wzywając do Moskwy oddziały wojskowe i wydając rozkaz szturmu „Białego Domu”. Czołgi i śmigłowce szturmowe, dosłownie „rozstrzelały” budynek. Wdzięczny Jelcyn, miesiąc później (w listopadzie 1993) mianował go członkiem Rady Bezpieczeństwa FR i odznaczył Orderem za Odwagę Osobistą. W listopadzie 1994 mianował go członkiem kierownictwa grupy do spraw zaprowadzenia konstytucyjnego porządku i rozbrojenia grup bandyckich w Czeczenii. Pomiędzy grudniem 1994 a styczniem 1995 ze sztabu w Mozdoku Graczow osobiście dowodził działaniami armii rosyjskiej w republice Czeczenia. Po niepowodzeniu kilku ataków na Grozny powrócił do Moskwy. Od tego momentu, wraz z kolejnymi niepowodzeniami rosyjskimi w zbuntowanej republice, był coraz bardziej krytykowany. Zarzucano mu nieudolność i obwiniano o doprowadzenie do niepotrzebnego i wyczerpującego konfliktu. Zdymisjonowany w czerwcu 1996, po opanowaniu Groznego przez oddziały czeczeńskie. W czasie prezydenckiej kampanii wyborczej Jelcyna, jedna z najbardziej niepopularnych osobistości w kraju.