W trakcie jego rządów ujawniono m.in. „aferę starachowicką” i „aferę Rywina”. W lutym 2004 zrezygnował z przewodniczenia SLD. 1 maja 2004 razem z Aleksandrem Kwaśniewskim uczestniczył w Dublinie w uroczystej ceremonii przyjęcia 10 krajów (w tym Polski) do Unii Europejskiej. Następnego dnia ogłosił decyzję o ustąpieniu z urzędu premiera.
Działalność od 2005 W pierwszym półroczu 2005 przebywał w celach naukowych i badawczych w Woodrow Wilson International Center for Scholars w Waszyngtonie. Na jesieni tegoż roku, mimo poparcia łódzkich struktur SLD, nie został wpisany na listę wyborczą do Sejmu, nie przyjął też propozycji startu do Senatu. Po wyborach zajął się publicystyką polityczną (m.in. w tygodniku „Wprost”). W latach 2005–2007 był etatowym pracownikiem SLD. 1 lipca 2006 objął funkcję szefa rady programowej dziennika „Trybuna”, którą pełnił do momentu rezygnacji z członkostwa w SLD.