W rozegranym 8 lutego 2004 starciu ligowym dwukrotnie zmusił do kapitulacji bramkarza Juventusu. 22 lutego 2004 Cassano strzelił hat-tricka w wygranym 6:0 pojedynku ligowym ze Sieną. Dobra forma prezentowana przez piłkarza spowodowała, że działacze Romy chcieli przedłużyć z nim kontrakt. 23 maja 2004 roku strzelił bramkę w wygranym spotkaniu z Atalantą (1:0), która zapewniła Giallorossim pewne utrzymanie w Serie A. W czerwcu zainteresowanie pozyskaniem Cassano wyraziły inne włoskie kluby, między innymi Inter Mediolan, działacze którego zaoferowali za niego 20 milionów funtów. We wrześniu 2004 zawodnik za niesportowe zachowanie został ukarany czerwoną kartką w meczu z Fiorentiną, a następnie z tego powodu wezwano go na rozmowę do trenera Rudiego Völlera. Po tej dyskusji wychowanek Bari przeprosił za swój występek. 15 września Cassano opuścił trening Romy przed spotkaniem Ligi Mistrzów z Dynamem Kijów, a jako powód podawano konflikt z trenerem, który nie przewidział dla niego miejsca w meczowej kadrze. Następnie włoski gracz został skrytykowany przez kapitana drużyny Francesca Tottiego, a były trener Romy – Fabio Capello – oskarżył Tottiego o sprowadzenie Cassano na złą drogę.