Miał również pracować jako II Sekretarz Ambasady ZSRR w Londynie i zostać wydalony z terytorium Wielkiej Brytanii pod zarzutem szpiegostwa, jednak ani Iwanow, ani brytyjskie Ministerstwo Spraw Zagranicznych nie potwierdzają tej informacji.
Po reorganizacji służb specjalnych na początku lat 90. znalazł się w kierownictwie Służby Wywiadu Zagranicznego utworzonej na bazie dawnego I Zarządu Głównego KGB. W SWR doszedł do stanowiska zastępcy naczelnika jednego z zarządów.
W lipcu 1998 nowo mianowany szef Federalnej Służby Bezpieczeństwa Władimir Putin zaproponował mu stanowisko swojego zastępcy. Iwanow objął jednocześnie funkcję szefa Departamentu Analiz, Prognoz i Planowania Strategicznego FSB. Od listopada 1999 pełnił funkcję sekretarza Rady Bezpieczeństwa Federacji Rosyjskiej (z rekomendacji Putina). Ze służby w FSB odszedł w stopniu generała-pułkownika.
W marcu 2001 prezydent Putin powołał go na stanowisko ministra obrony. Stał on się tym samym pierwszym w historii ZSRR i Rosji cywilnym szefem tego resortu, jednocześnie pierwszym wywodzącym się z cywilnych służb specjalnych. Od listopada 2005 był jednocześnie wiceprzewodniczącym Rządu (wicepremierem) Federacji Rosyjskiej odpowiedzialnym za bezpieczeństwo.