Jako eurosceptyk często sprzeciwiał się poczynaniom konserwatywnego gabinetu Johna Majora. Po porażce w wyborach parlamentarnych w 1997 lider opozycji William Hague powołał go do gabinetu cieni jako ministra zabezpieczenia socjalnego. W 1999 został opozycyjnym ministrem obrony. Kiedy po porażce w wyborach 2001 do dymisji podał się Hague, Duncan Smith został wybrany na nowego lidera Partii Konserwatywnej. Poparcia udzieliła mu m.in. była premier Margaret Thatcher.
Na czele Partii Konserwatywnej Duncan Smith nie sprawdził się jako przywódcaBBC Polish – Wybory w Wielkiej Brytanii. Deputowani zarzucali mu, że nie potrafił przywrócić konserwatystom wiary w zwycięstwo w kolejnych wyborach oraz brak charyzmyLudzie Wprost – Iain Duncan Smith. Ponadto w 2002 dziennikarz Michael Crick ogłosił, że Duncan Smith skłamał w swoim CV, twierdząc iż ukończył studia na Uniwersytecie w Perugii, podczas gdy w rzeczywistości uczęszczał na Uniwersytet dla Cudzoziemców w Perugii, który w tym czasie nie przyznawał tytułów naukowychBBC News – Tory leader's education under scrutiny.