W eliminacjach, podczas igrzysk olimpijskich, uzyskał trzeci rezultat w grupie B i z wynikiem 82,04 awansował do finału. 28 sierpnia na stadionie olimpijskim w Atenach w drugiej serii uzyskał swój najlepszy wynik – 83,01 – i został ostatecznie sklasyfikowany na ósmej lokacie. W 2004 pobiegł także w biegu maratońskim.
2005 W swoim czwartym starcie w roku 2005, podczas mityngu w Kuortane 26 czerwca, pierwszy raz w karierze uzyskał wynik ponad 90 metrów ustawiając rekord życiowy rezultatem 91,53. 17 lipca zdobył drugi złoty medal mistrzostw Finlandii, a w ostatnim starcie przed mistrzostwami świata wygrał z wynikiem 90,54 (podczas zawodów w Oslo). Fin, który jako jedyny oszczepnik obok Rosjanina Siergieja Makarowa w sezonie przekroczył granicę 90 metrów, był faworytem czempionatu rozgrywanego w Helsinkach. W eliminacjach, które odbyły się 9 sierpnia, z wynikiem 82,21 zajął drugie miejsce za Makarowem. W rundzie finałowej w pierwszej serii Fin uzyskał wynik 75,44, a swój najlepszy rezultat osiągnął w czwartej próbie uzyskując 81,27. Będący faworytem zawodów oszczepnik zajął ostatecznie czwarte miejsce. Złoto mistrzostw przypadło Estończykowi Andrusowi Värnikowi, srebro zdobył Norweg Andreas Thorkildsen, a brąz Rosjanin Siergiej Makarow. Po mistrzostwach Pitkämäki wygrał m.in.