W 2004 roku przeszedł do innego pierwszoligowca - RC Lens. Pierwsze ligowe spotkanie w tym klubie zanotował 7 sierpnia 2004 w bezbramkowo zremisowanym meczu z Tuluzą. W debiutanckim sezonie gry dla Lens rozegrał tam 33 mecze i strzelił jednego gola. W następnym sezonie stracił miejsce w składzie i stał się rezerwowym graczem ekipy ze Stade Félix-Bollaert. Tę funkcję pełnił przez dwa sezony. W ciągu trzech lat gry dla Lens, dwukrotnie zwyciężył z nią w rozgrywkach Pucharu Intertoto. W sumie zagrał tam 57 razy i strzelił 2 gole.
W 2007 roku Gillet podpisał kontrakt z drugoligowym Le Havre AC. W Ligue 2 zadebiutował 27 lipca 2007 w wygranym przez jego zespół 2-0 pojedynku z SC Bastią. W tym spotkaniu strzelił także gola. Na koniec sezonu 2007/2008 zajął z Le Havre pierwsze miejsce w lidze i awansował z nim do ekstraklasy, skąd spadł do Ligue 2 już po roku.
Latem 2010 roku Gillet odszedł do zespołu Angers.