Bazując na metalowym brzmieniu, zespół zaadaptował do swego stylu dźwięki art-rockowe, jazzowe czy post-rockowe. W konsekwencji muzyka Yakuza określana została jako mikstura King Crimson, John Coltrane'a, Tortoise oraz Napalm Death. Muzycy przyznają się też otwarcie do fascynacji free jazzem i w szczególności twórczością Johna Zorna. Od początków istnienia Yakuzy członkowie grupy równolegle funkcjonowali w projekcie pobocznym o nazwie Kabuki-Mono, stanowiącym niejako alter-ego dla podstawowej formacji, zaś dokonywali w nim przeróbek i dekonstrukcji utworów Yakuzy. W tymże projekcie podchodzili odmiennie do tworzenia muzyki i niekiedy materiał powstały na sesji Kabuki-Mono wchodził następnie do repertuaru Yakuzy (np. utwór „01000011110011”)
Sami członkowie określając swoją muzykę podkreślają od wielu lat, iż jest to przekrój od Sun Ra po Napalm Death. Jak przyznał Bruce Lamont, "nienawidzi on lapidarnego mianowania muzyki grupy jako metal awangardowy" (dosł. avant metal) i uważa to za "okropne stwierdzenie".
Nazwa grupy została zaczerpnięta od określenia Yakuza (oznaczającego członka tradycyjnych japońskich grup przestępczych).