Po Mundialu 1998 prezydent federacji, Julio Grondona, zaproponował Pekermanowi przejęcie pierwszej reprezentacji, ale szkoleniowiec uznał, że jeszcze nie jest gotowy i rekomendował na to stanowisko Marcelo Bielsę.
W 2003 roku przeniósł się do Hiszpanii, gdzie został dyrektorem sportowym w drugoligowym CD Leganés, którego właścicielem był argentyński biznesmen Daniel Grinbank. Pekerman pracował na tym stanowisku tylko kilka miesięcy i jeszcze w tym samym roku powrócił do Argentyny.
Kiedy Bielsa niespodziewanie zrezygnował po zdobyciu złotego medalu olimpijskiego w 2004 roku, Grondona ponowił swoją propozycję, którą tym razem Pekerman przyjął.
Prowadzona przezeń drużyna Albicelestes zajęła drugie miejsce na Pucharze Konfederacji 2005, przegrywając finał z Brazylią (0-3). W eliminacjach do Mundialu 2006 prowadzona przez niego reprezentacja zajęła drugie miejsce, ustępując Brazylii tylko bilansem bramek. W osiemnastu meczach kwalifikacyjnych wystąpiło aż czterdziestu sześciu piłkarzy. Na mundialu Argentyńczycy zajęli pierwsze miejsce w grupie, po drodze pokonując m.in. Serbię i Czarnogórę 6:0. W drugiej rundzie po dogrywce zwyciężyli Meksyk. Odpadli w ćwierćfinale po rzutach karnych, po meczu z gospodarzami Niemcami.