Rok 2003 zainaugurował od występu w wielkoszlemowym Australian Open, dochodząc razem z Rogerem Federerem do III rundy. W marcu zwyciężył w zawodach ITF Men's Circuit, w parze z Danielem Braccialim, rozgrywanych we Francji (F7). W październiku tenisista szwajcarski wygrał pierwszy turniej z cyklu ATP World Tour, na kortach w Wiedniu. Razem z Rogerem Federerem pokonali w finale 7:6(7), 7:5 Mahesha Bhupathiego i Maksa Mirnego.
W roku 2004 wygrał, partnerując Jeanowi-François Bachelotowi, w lutym imprezę ATP Challenger Tour w Andrézieux. W maju awansował do kolejnego finału ATP World Tour, w Casablance, jednak w meczu o mistrzostwo uległ z Michaelem Kohlmannem parze Enzo Artoni–Fernando Vicente 6:3, 0:6, 4:6. W sierpniu osiągnął z Kohlmannem finał imprezy w Long Island (porażka z Antonym Dupuisem i Michaëlem Llodrą). Na początku października awansował do finału w Bangkoku, ponosząc porażkę razem z Rogerem Federerem w spotkaniu o tytuł z parą Justin Gimelstob–Graydon Oliver 7:5, 4:6, 4:6. W październiku Allegro był sklasyfikowany w światowym rankingu deblistów na 32. miejscu, najwyższym w karierze. Latem zagrał na igrzyskach olimpijskich w Atenach, partnerując Rogerowi Federerowi.