Później, w 2002 roku, Taubenfeld odbył rozmowę telefoniczną z wiceprzewodniczącym Arista Records, który poszukiwał ludzi do przesłuchania w Nowym Jorku z piosenkarką Avril Lavigne. Taubenfeld przesłuchiwany był jako perkusista i gitarzysta basowy, ponieważ pozycje gitarzystów były już zajęte i wiceprzewodniczący zaproponował mu kontrakt głównego gitarzysty i drugiego wokalu, kiedy tylko usłyszał próby gitarowe Evana w pokoju przesłuchań.
W czerwcu 2003 roku podczas trasy koncertowej z Lavigne, założył nowy zespół – o początkowej nazwie Ditch Ruxton. Ich pierwszy występ miał miejsce w Baltimore, w nocnym klubie Fletcher’s. Po tym zespół rozdzielił się na rok i nigdy nie odbył się drugi występ.
W maju 2004 roku Avril Lavigne wydała swój drugi album Under My Skin. Jej pierwszy singel, Don’t Tell Me, był współtworzony przez Evana. Oprócz tego Taubenfeld jest także współtwórcą piosenek Freak Out i Take Me Away. Do dwóch z tych piosenek (Don’t Tell Me i Freak Out) Evan grał na gitarze, perkusji i śpiewał chórki. Niedługo potem, Taubenfeld został pracownikiem (autor piosenek) EMI Music Publishing i opuścił zespół Avril we wrześniu 2004 roku, żeby dążyć do dokonania własnych przedsięwzięć.