W opozycji Po porażce torysów w wyborach 1997 i przejściu do opozycji Clarke wystartował w wyborach na lidera partii. Wygrał w pierwszych dwóch turach głosowania, ale w trzeciej decydującej uległ Williamowi Hague. Ponowną próbę podjął w 2001. W pierwszych dwóch turach głosowania wśród deputowanych zajmował trzecie miejsca, ale wygrał trzecią turę. Jednak podczas głosowania wśród wszystkich członków Partii Konserwatywnej zajął drugie miejsce, za Iainem Duncanem Smithem. Porażkę tę przypisywano wzrostowi nastrojów eurosceptycznych w Partii Konserwatywnej. Trzecia próba objęcia stanowiska lidera konserwatystów podjęta w 2005 zakończyła się porażką Clarke’a już w pierwszej turze głosowań.
Jako polityk opozycji Clark nie angażował się w działania gabinetu cieni, mimo iż w 1997 stanowisko proponował mu William Hague. Dopiero w 2005 przyjął nominację nowego lidera konserwatystów, Davida Camerona, na stanowisko przewodniczącego komitetu programowego Partii Konserwatywnej.
W tym czasie Clarke prowadził ożywioną działalność pozaparlamentarną. Był m.in. wiceprzewodniczącym British American Tobacco (BAT, w latach 1998–2007) oraz wiceprzewodniczącym Alliance Unichem. Prowadził również serię programów poświęconych jazzowi na antenie BBC Radio 4.