29 sierpnia 1903 r. Witte został zdymisjonowany ze stanowiska ministra finansów i wyznaczony na stanowisko przewodniczącego Komitetu Ministrów. Na tym stanowisku, na prośbę cara, doprowadził do podpisania układu pokojowego z Japonią – Pokoju w Portsmouth, łagodzącego skutki przegranej przez Rosję wojny z Japonią w 1905 r., za co otrzymał tytuł hrabiego, ale przezwany był przez kręgi rządowe, arystokratyczne i naród „pół sachaliński” ze względu na oddanie Japonii południowej połowy wyspy Sachalin. Następnie pod jego wpływem car wydał opracowany przez Wittego Manifest październikowy 1905, próbujący uśmierzyć rewolucyjne nastroje społeczne. Od października 1905 do kwietnia 1906 premier rządu Rosji.
Jako premier wydawał polecenia wysyłania oddziałów karnych do dławienia rewolucji 1905 na Syberię, w rejony Morza Bałtyckiego, do Polski. Posłał wojska garnizonu petersburskiego do zdławienia rewolucyjnego powstania zbrojnego w Moskwie. W 1906 wziął pożyczkę od Francji w wysokości 2,25 mld franków. Po dymisji osiadł w Petersburgu. Pozostawał członkiem Rady Państwa i brał udział w pracach komitetu finansów, którego był przewodniczącym do śmierci.