16 kwietnia 2004 niższa izba Kortezów Generalnych wybrała go na urząd premiera głosami posłów PSOE oraz 19 deputowanych ugrupowań komunistycznych i regionalnych. Następnego dnia został zaprzysiężony przez hiszpańskiego króla. Jedną z pierwszych decyzji ogłoszonych przez José Luisa Zapatero było wycofanie hiszpańskiego kontyngentu z Iraku. Jego rząd doprowadził też do uchwalenia przepisów umożliwiających zawieranie małżeństwa przez osoby tej samej płci. Był również inicjatorem Sojuszu Cywilizacji ONZ (UNAOC), nowego programu Organizacji Narodów Zjednoczonych przeciwko ekstremizmowi.
Prowadzeni przez niego socjaliści wygrali także wybory parlamentarne w 2008 z wynikiem 169 mandatów. José Luis Zapatero nie uzyskał reelekcji w pierwszym głosowaniu w Kongresie Deputowanych, w którym wymagana była większość bezwzględna. Został jednak ponownie wybrany na premiera w drugim głosowaniu z 11 kwietnia 2008, w którym obowiązywała zwykła większość, a 23 przedstawicieli partii komunistycznych i regionalnych wstrzymało się od głosu. Jego drugi rząd rozpoczął urzędowanie 14 kwietnia tegoż roku. Zajął się m.in. reformą uprawnień wspólnot autonomicznych i wprowadzeniem ograniczeń dla palaczy. W czasie jego funkcjonowania Hiszpanię dotknęły skutki ogólnoświatowego kryzysu finansowego, a socjaliści zaczęli tracić poparcie.