Pierwszą płytą wydaną samodzielnie była EPka "Leather Diamonds", pakowana ręcznie w pozbawiony opisu karton, sprzedawana na koncertach. 19 marca 2002 ukazał się debiutancki album Hella "Hold Your Horse Is" wydany przez 5 Rue Christine Records (oddział Kill Rock Stars Records z Seattle). Już na pierwszej płycie duet miał swoje charakterystyczne, obskurne brzmienie.
W 2003 roku Hella rozbudowało brzmienie studyjne. 17 czerwca ukazała się EPka "Bitches Ain't Shit But Good People" (pierwsze wydanie tylko na winylu), zawierała nową wersję utworu "Republic of Rough and Ready" z pierwszego albumu, po raz pierwszy poszerzoną o wokal, którym był Dan Elkan, przyjaciel zespołu. Również pierwszy raz pojawiły się gitara basowa, syntezator i automat perkusyjny. Na kolejnej EPce, "Total Bugs Bunny On Wild Bass", która ukazała się 26 sierpnia, Hella korzysta z syntezatora, samplera i automatu perkusyjnego, słychać też wpływ 8-bitowych gier wideo. W końcówce roku wyszła podwójna płyta z koncertu Hella z kapelą Dilute z San Francisco.