Po epizodzie w filmie The Explosive Generation z 1961, Geffen rozpoczął swoją karierę rozrywkową w biurze pocztowym w William Morris Agency (WMA), gdzie szybko stał się agentem talentów. Kiedy Geffen był zaangażowany w proces poszukiwania rekordowej umowy dla młodego Jacksona Browne, założyciel Atlantic Records – Ahmet Ertegün – zasugerował, aby Geffen założył własną wytwórnię płytową. Podpisał umowę z takimi artystami jak Eagles, Joni Mitchell, Bob Dylan, Tom Waits, Linda Ronstadt i Warren Zevon. Asylum został później przejęty przez firmę macierzystą Atlantic, Warner Communications, i w 1972 połączył się z Elektra Records, by stać się Elektra / Asylum Records.
Geffen pozostawał u władzy do grudnia 1975, kiedy rozpoczął pracę jako wiceprezes studia filmowego Warner Bros.. W 1980 założył Geffen Records i zatrudnił Eda Rosenblatta na stanowisko prezesa Warner Bros. Records. Błyskawiczny wzrost znaczenia marki Geffen w ciągu roku okazał się słodko-gorzkim sukcesem. Pierwszym artystą Geffena, który podpisał kontrakt, była Donna Summer, która pragnęła opuścić Casablanca / PolyGram Records. Geffen niedługo potem wydał jej album The Wanderer, którego główny singiel osiągnął 3. miejsce na liście Billboardu Hot 100, a album stał się złotą płytą.