Łącznie przez trzy sezony zaliczył 30 trafień w barwach Troyes.
W 2003 roku Goussé znów zmienił barwy klubowe i przeszedł do EA Guingamp (debiut 2 sierpnia w przegranym 0:1 meczu z Olympique Marsylia), ale już po roku odszedł z klubu i wyjechał do belgijskiego RAEC Mons, dla którego strzelił 8 goli w Eerste Klasse. Latem 2005 wrócił do Francji i przez dwa lata występował w drugoligowym FC Istres.
W 2007 roku Goussé odszedł na zasadzie wolnego transferu do spadkowicza z Ligue 1, FC Nantes. 30 lipca zadebiutował w barwach "Kanarków" w wygranym 5:0 meczu ze Stade de Reims zdobywając w nim 2 gole. Na koniec sezonu 2007/2008 awansował z Nantes do Ligue 1.
Sezon Klub Kraj Rozgrywki Mecze Bramki 1996/97 Stade Rennais FC
Ligue 1 5 0 1997/98 Stade Rennais FC
Ligue 1 32 9 1998/99 Stade Rennais FC
Ligue 1 13 6 1999/00 FC Metz
Ligue 1 23 1 2000/01 Troyes AC
Ligue 1 31 9 2001/02 Troyes AC
Ligue 1 31 15 2002/03 Troyes AC
Ligue 1 32 6 2003/04 EA Guingamp
Ligue 1 22 4 2004/05 RAEC Mons
Eerste Klasse 25 8 2005/06 FC Istres
Ligue 2 16 4 2006/07 FC Istres
Ligue 2 18 2 2007/08 FC Nantes