W drugiej turze przegrał z kandydatem Partii Pracujących, Luisem Inácio Lula da Silvą, stosunkiem głosów 39% do 61%.
Burmistrz i gubernator São Paulo mały|lewo|Serra z Benedyktem XVI, 2007 mały|240px|Serra z prezydentem Brazylii, Lulą da Silvą José Serra już w 1988 rozpoczął starania o zdobycie władzy w ratuszu São Paulo. W wyborach w 1988 przegrał z kandydatką Partii Pracujących, Luizą Erundiną. W 1996 zrezygnował ze stanowiska ministra i ponownie wziął udział w wyborach, wygranych przez Celso Pitta. Po raz trzeci wystartował w wyborach w 2004. Pokonał wówczas kandydatkę Partii Pracujących, Martę Suplicy, zdobywając w drugiej turze wyborów 55% głosów i 1 stycznia 2005 objął fotel burmistrza São Paulo.
14 marca 2006 zdecydował ubiegać się o stanowisko gubernatora stanu São Paulo w nadchodzących wyborach generalnych. 31 marca 2006 z tego powodu zrezygnował z funkcji burmistrza miasta. Serra zwyciężył już w pierwszej turze wyborów, jako jedyny w dotychczasowej historii stanu, zdobywając prawie 60% głosów. 1 stycznia 2007 objął urząd gubernatora stanu São Paulo na czteroletnią kadencję. 2 kwietnia 2010 zrezygnował ze stanowiska, by ubiegać się o prezydenturę kraju.