To była cała muzyka, którą kochałem, wrzucona do jednego zespołu, ale jedyne co miałem to ludzi, mówiących mi, że nie mam piosenki” – wspominał wokalista.
W 1996 muzyk założył glamrockowy zespół Madfly, inspirowany twórczością Davida Bowiego, Led Zeppelin i Prince’a. W skład grupy weszli Nico Constantine (gitara), Jeffery Blount (gitara basowa) i Bevan Davies (perkusja), a DuVall pełnił rolę frontmana. Na scenie członkowie zespołu korzystali z bodypaintingu i krzykliwych kostiumów. W opinii muzyka Madfly było „reakcją na wściekłość i wkurzenie”, która wynikała z frustracji spowodowanej brakiem komercyjnej atrakcyjności No Walls. Jak wspominał: „Ubieraliśmy się w głupie ubrania i mówiłem: «Jeśli mam być błaznem dla twoich dupków, będę się dobrze bawił i pisał fajną muzykę»”. Zespół nagrał dwa albumy studyjne – Get the Silver (1996) i White Hot in the Black (1998).
W 1999 Madfly zostało przekształcone w Comes with the Fall, gdzie DuVall powrócił do komponowania dojrzalszych utworów. Skład został uzupełniony o basistę Adama Stangera. Początkowo grupa spotkała się z niewielkim zainteresowaniem, wskutek czego muzycy przenieśli się z Atlanty do Los Angeles. W latach 2001–2002 formacja otwierała solowe koncerty gitarzysty Alice in Chains, Jerry’ego Cantrella, promującego drugi album studyjny Degradation Trip (2002).