Podczas sezonu 2004 wygrała pięć turniejów rangi ITF, z czego dwa jako kwalifikantka. Osiągnęła finał juniorskiego Wimbledonu 2004, w którym przegrała z Kateryną Bondarenko 4:6, 7:6, 2:6. Następnie zakwalifikowała się do turniejów w Birmingham i Wiedniu, w obydwu odpadła w pierwszej rundzie. Przegrała również w pierwszej rundzie kwalifikacji do US Openu 2004. W pierwszej rundzie turnieju w Zurychu pokonała w trzech setach Tatianę Golovin, klasyfikowaną wówczas na dwudziestym dziewiątym miejscu rankingu singlowego. W następnym meczu została wyeliminowana przez Venus Williams, wynikiem 6:7(11), 6:7(6). Rok 2004 zakończyła na dziewięćdziesiątej siódmej pozycji w rankingu WTA.
Sezon 2005 Rok 2005 rozpoczęła od triumfu w Canberra Women’s Classic w Canberze, turnieju kategorii piątej. W finale pokonała szczęśliwą przegraną Melindę Czink 7:5, 6:1, a w ciągu całego turnieju, łącznie z eliminacjami, straciła tylko jednego seta w meczu drugiej rundy z Evie Dominiković (5:7, 6:3, 6:4). Był to pierwszy tytuł Ivanović zaliczany do cyklu WTA Tour. Zapisała się też w historii jako dwudziesta szósta kwalifikantka, która wygrała turniej zawodowy. Podczas Australian Open 2005 w pierwszych dwóch meczach wyeliminowała rozstawioną z numerem trzydziestym drugim Ivetę Benešovą i Mariję Kirilenko.