Wiosną 1980 nagrali i wydali drugi singel Holiday in Cambodia, a pod koniec tego samego roku ukazał się debiutancki album Fresh Fruit for Rotting Vegetables. W styczniu 1981 perkusista Ted oświadczył, że odchodzi z zespołu. Miał zamiar poświęcić się swojej innej pasji: architekturze. Ostatni koncert zagrał z zespołem miesiąc później. Na jego miejsce przyszedł czarnoskóry D.H. Peligro.
W tym czasie zespół dostał propozycję współpracy z dużą firmą Polydor Records. East Bay Ray próbował nakłonić Biafrę do podpisania kontraktu. Sceptyczny Biafra wyraził swój sprzeciw i zagroził, że opuści grupę, jeśli reszta podpisze umowę. Niewiele później pracownicy Polydor Records sami zrezygnowali z pomysłu na kontrakt, gdy usłyszeli tytuł nowego singla Dead Kennedys: Too Drunk to Fuck, który ukazał się w maju 1981 roku nakładem firmy Cherry Red. Tytułowa piosenka wywołała zamieszanie w Wielkiej Brytanii, ponieważ ludzie z BBC bali się, że niecenzuralny singel sięgnie pierwszej 30. na liście przebojów „Top 30", a to wymagałoby wzmianki o tym w telewizyjnym programie Top of the Pops. Utwór zatrzymał się jednak na 31. miejscu.