Reprezentacja Holandii Rozstanie z Barceloną było jednak tym mniej bolesne, że na Van Gaala czekała posada selekcjonera reprezentacji. Holender przymierzał się do objęcia sterów rodzimej kadry już w 1998 roku, ale wówczas na przeszkodzie stanął ważny kontrakt z Barceloną. Wydawało się, że dla takiego trenera jak Van Gaal praca z silną reprezentacją będzie stanowić potwierdzenie umiejętności i przyniesie obu stronom wiele korzyści. Tym bardziej, że w najlepszym dla piłkarza wieku znajdowało się wówczas pokolenie zawodników, które odkrył i wypromował w Ajaksie. Holendrzy jednak w eliminacjach do Mundialu 2002 grali nieefektywnie, ponadto w drużynie co i raz wybuchały konflikty między piłkarzami a trener przez ciągłe hołdowanie sprawdzonym schematom gry oraz eksperymenty kadrowe zraził do siebie wielu kibiców i media. Reprezentacja zajęła dopiero trzecie miejsce w grupie, za Portugalią i Irlandią, i po raz pierwszy od 1986 roku nie awansowała do międzynarodowego turnieju. Van Gaal, pomimo iż miał podpisany kontrakt z krajową federacją aż do 2006 roku, musiał podać się do dymisji.
Po tym niepowodzeniu ponownie przyjął propozycję od Barcelony. Po szybkim odpadnięciu z Pucharu Hiszpanii oraz nie najlepszej postawie w meczach ligowych po sześciu miesiącach został zwolniony.