W październiku 1995 dołączył do rządu Antónia Guterresa jako sekretarz stanu w ministerstwie środowiska. W listopadzie 1997 awansował na stanowisko ministra delegowanego przy premierze. Zajmował się m.in. sprawami organizacji Euro 2004 w Portugalii. W październiku 1999 w drugim rządzie dotychczasowego premiera został ministrem środowiska. Urząd ten sprawował do kwietnia 2002, od stycznia tegoż roku wykonywał także obowiązki ministra zabezpieczenia społecznego.
Po wyborach w 2002 wygranych przez José Manuela Durão Barroso José Sócrates znalazł się w opozycji. Objął wówczas funkcję wiceprzewodniczącego klubu poselskiego PS, którą pełnił do 2005. 24 września 2004, po rezygnacji Eduarda Ferro Rodrigues ze stanowiska sekretarza generalnego Partii Socjalistycznej, zwyciężył w wyborach na jego następcę, pokonując Manuela Alegre i João Soaresa, zdobywając 80% głosów. W 2006, 2009 i 2011 po raz kolejny był wybierany na sekretarza generalnego socjalistów.