Drugi album, Alphabetical, wydany 29 marca 2004 r. stał się już komercyjnym sukcesem. Single: „Everything Is Everything” oraz „Run Run Run” zagościły na alternatywnych listach przebojów, a w związku z promocją wydawnictwa Francuzi zagrali 150 koncertów na trzech kontynentach. Podczas tournée po Skandynawii grupa zarejestrowała 10 piosenek, opublikowanych 30 dni po zakończeniu trasy jako Live! Thirty Days Ago. Początkowo wydawnictwo było dostępne tylko przez Internet, jednak już na początku 2005 roku, pod tym samym tytułem, można było je nabyć w fizycznej postaci.
Latem 2005 roku zespół udał się do berlińskiego studia Planet Roc w celu zarejestrowania piosenek na ich trzeci album – It’s Never Been Like That. Wszystkie utwory powstały dopiero w studiu, gdyż zespół nie dysponował wtedy żadnym materiałem. Krążek ukazał się 15 maja 2006, zyskując przychylność krytyków oraz publiczności. Z początkiem roku 2006 Phoenix rozpoczęli promocję materiału na koncertach.