Pomimo że styl Cave'a nie jest odkrywczy i sięga on do dokonań wcześniejszych "krzykaczy" w historii rock and rolla, a w szczególności takich jak Iggy Pop czy Alan Vega z zespołu Suicide, jego śpiewanie z zespołem Birthday Party wciąż pozostaje potężne i wyraziste.
W 1982 roku, jeszcze przed przeprowadzką, Calvert został wyrzucony z zespołu, gdyż "nie był w stanie utrzymać rytmu w utworze Dead Joe w sposób satysfakcjonujący dla wszystkich"All Music Guide, a jego miejsce przy perkusji zajął Harvey.
Kolejnym przykrym zdarzeniem w historii zespołu, było aresztowanie Tracy Pewa za jazdę po spożyciu alkoholu oraz drobną kradzież w tym samym roku. Na jego miejsce dołączył Barry Adamson, były członek zespołu Magazine oraz Visage, a także Harry Howard i Chris Walsh zastępowali go na nagraniach albumu Junkyard oraz występach na żywo. Ostatecznie Pew powrócił do zespołu. Zmarł kilka lat później podczas ataku epilepsji.
W 1982 grupa współpracowała z Lydią Lunch, a w wyniku tej współpracy powstały nagrania w 1982 roku oraz ostatecznie wydany w 1987 album o tytule Honeymoon In Red. Jednakże Harvey i Cave byli niezadowoleni ze sposobu zmiksowania materiału i poprosili o wycofanie ich z autorstwa tych nagrań.