Od sezonu 1998/1999 do sezonu 2000/2001 nie stanął ani razu na podium w konkursach indywidualnych PŚ. Na mistrzostwach świata w Ramsau (1999) był w drużynie, która zdobyła brązowy medal (razem z Widhölzlem, Schwarzenbergerem i Horngacherem). Indywidualnie był piąty na normalnej skoczni oraz czternasty na dużej. Na mistrzostwach świata w Lahti (2001) zdobył trzy medale. Na normalnej skoczni zajął 3. miejsce, ustępując tylko Adamowi Małyszowi oraz Martinowi Schmittowi. Na dużej skoczni był czwarty, przegrywając walkę o brązowy medal z Janne Ahonenem. W konkursach drużynowych zdobył złoto (normalna skocznia) oraz brąz (duża skocznia).
W 2002 zajął dziewiąte miejsce na mistrzostwach świata w lotach w Harrachovie. Wziął też udział w igrzyska olimpijskie w Salt Lake City. Start w tej imprezie zakończył się porażką ekipy austriackiej, która nie wywalczyła żadnego medalu. Drużynowo Austriacy zajęli czwarte miejsce. Indywidualnie Höllwarth zajął 14. miejsce na dużej skoczni, a na normalnej był 25. W Pucharze Świata czterokrotnie stawał na podium, co dało mu szóste miejsce w klasyfikacji generalnej. Ponadto po zajęciu drugiego miejsca w Oberstdorfie, siódmego w Ga-Pa oraz trzeciego w Innsbrucku i Bischofshofen uplasował się na trzecim miejscu w klasyfikacji końcowej 50.