W roku 2003 Aoki ukończył więcej wyścigów, jednakże wyniki wyraźnie się pogorszyły. W pierwszych czterech wyścigach Aoki wystartował na modelu KR3. Dwukrotnie dojechał do mety, zajmując tylko w jednej rundzie miejsce w czołowej dziesiątce (dziewiąta lokata podczas GP Hiszpanii). Począwszy od GP Włoch Japończyk korzystał z motocykla Proton KR5. Rezultaty nie uległy jednak poprawie. Nobuatsu w zaledwie trzech wyścigach uplasował się na premiowanych punktami pozycjach, najwyższą osiągając na torze w Niemczech (jedenaste miejsce). Niewielka liczba punktów sklasyfikowała go na dalekim 21. miejscu.
Sezon 2004 był ostatnim w pełnym wymiarze, a zarazem najgorszym w karierze Nobuatsu. Japończyk pięciokrotnie sięgał po pojedyncze punkty, a najwyższą uzyskaną pozycją, była trzynasta lokata podczas GP Włoch. Z zaledwie dziesięcioma punktami na koncie Aoki drugi raz z rzędu zajął 21. pozcyję. Po tym roku opuścił mistrzostwa świata.