Z powodzeniem ubiegał się o reelekcję w kolejnych wyborach w 1987, 1991, 1995, 1999 i 2002, zasiadając w portugalskim parlamencie IV, V, VI, VII, VIII i IX kadencji.
Również od 1985 obejmował funkcje rządowe w kolejnych gabinetach, którymi kierował Aníbal Cavaco Silva. Początkowo został sekretarzem stanu ds. wewnętrznych. W 1987 przeszedł na stanowisko sekretarza stanu ds. polityki i współpracy zagranicznej. Z ramienia swojego rządu był zaangażowany w próby pokojowego rozwiązania wojny domowej w byłej portugalskiej kolonii Angoli. W latach 1992–1995 sprawował urząd ministra spraw zagranicznych. W 1995 PSD przeszła do opozycji, José Manuel Barroso przez rok stał na czele komisji spraw zagranicznych w Zgromadzeniu Republiki. W 1999 został przewodniczącym Partii Socjaldemokratycznej, funkcję tę pełnił do 2004.
Kierowana przez niego PSD zwyciężyła w wyborach w 2002, zawiązując koalicję z Partią Ludową. 6 kwietnia 2002 José Manuel Barroso został nowym premierem, stając na czele XV rządu konstytucyjnego. Urząd ten sprawował do 17 lipca 2004. Jego gabinet popierał interwencję w Iraku, prowadził restrykcyjną politykę gospodarczą, zmierzającą do ograniczenia deficytu budżetowego i zreformowania prawa pracy.