W 1986 r. został whipem opozycji. W latach 1987–1992 był ministrem skarbu w gabinecie cieni. W latach 1992–1997 był kolejno ministrem środowiska, dziedzictwa narodowego, emerytur oraz zdrowia. W 1997 r. został ministrem kultury, mediów i sportu w pierwszym rządzie Tony’ego Blaira. Na tym stanowisku nawiązał bliskie relacje z brytyjskim światem sztuki. Wkrótce po nominacji mianował Mary Allen na stanowisko dyrektora Royal Opera House, co odbyło się z naruszeniem procedur. Smith pozostał na swoim stanowisku do wyborów w 2001 r., kiedy to Tony Blair usunął go z gabinetu.
30 stycznia 2005 r. Smith przyznał w wywiadzie z Sunday Timesem, że jest zarażony wirusem HIV, co zdiagnozowano już w 1987 r. Zrezygnował ze startu w zbliżających się wyborach parlamentarnych. 30 kwietnia 2005 r. został kreowany parem dożywotnim jako baron Smith of Finsbury. Następnie został dyrektorem Clore Leadership Programme. Obecnie jest członkiem rady nadzorczej Royal National Theatre oraz przewodniczącym Wordsworth Trust. W listopadzie 2006 r. został przewodniczącym The Advertising Standards Authority.
Smith jest zapalonym alpinistą.