Sete jako wicemistrz otrzymał srebrny medal i z dorobkiem 257 punktów (10 razy na podium, w tym 3 zwycięstwa) zakończył sezon.
W 2005 roku szczęście odwróciło się od Gibernau. W pierwszym emocjonującym wyścigu na torze w Jerez został wypchnięty przez Valentino Rossi na ostatnim zakręcie przed metą i ukończył wyścig na drugiej pozycji. Wtedy zawrzało między nim a Rossim i zawodnicy popadli w konflikt. To wydarzenie sprawiło, iż zawodnik przeżywał załamanie formy. Dodatkowo jego talent przyćmił nowy kolega z zespołu Marco Melandri, który został wicemistrzem świata. Sete natomiast na 17 rozegranych wyścigów ukończył tylko 10, cztery razy stając na podium i w ogólnym rozrachunku kończąc sezon na 7 pozycji z dorobkiem 150 punktów.
W sezonie 2006 Sete Gibernau dosiadał maszyny Ducati i był partnerem z zespołu Lorisa Capirossiego. W Grand Prix Katalonii stał się uczestnikiem groźnego karambolu, w którym brało udział sześciu kierowców. Sete został najbardziej poszkodowany, doznał złamania obojczyka, co wyeliminowało go na wiele rund cyklu Grand Prix. Sezon tan mógł spisać całkowicie na straty, liczne upadki i kontuzje wyeliminowały go na wiele rund, ani razu nie stanął na podium, w rezultacie kończąc sezon dopiero na 13.