Latem 1999 Gerets został zatrudniony w PSV Eindhoven. Podobnie jak w czasach, gdy był zawodnikiem, osiągał z klubem z Eindhoven sukcesy. Już w 2000 roku wywalczył mistrzostwo kraju, a rok później, czyli w 2001 roku powtórzył ten sukces, a do tego latem dołożył superpuchar. W 2002 roku PSV straciło mistrzostwo na rzecz Ajaksu Amsterdam i fakt ten był jednym z powodów odejścia Belga ze stanowiska.
Gerets pozostawał bez pracy do września 2002 i wtedy objął 1. FC Kaiserslautern po Andreasie Brehme. Zespół zaczynał grać coraz lepiej i w efekcie czego Gerets uchronił 1. FCK przed degradacją z ligi. Sezon 2003/2004 również rozpoczął jako trener Kaiserslautern, jednak po serii słabszych meczów, 4 lutego 2004 zrezygnował ze stanowiska. Bez pracy pozostawał do kwietnia i wtedy został zatrudniony jako trener VfL Wolfsburg. Z zespołem zajął 10. miejsce w lidze, a w 2005. miejsce 9. i po sezonie ponownie zmienił miejsce pracy, tym razem stając się szkoleniowcem tureckiego Galatasaray SK, z którym w 2006 roku wywalczył mistrzostwo Turcji.
W 2007 roku Gerets został trenerem Olympique Marsylia.