Historia Organizacja została założona w 1915 roku przez robotnika portowego o nazwisku Harukichi Yamaguchi. W początkowym okresie grupa składała się z 50 członków. Jej celem było pośrednictwo pracy, praca w porcie oraz angażowanie się w branżę rozrywkową. W 1925 roku Harukichi przeszedł na emeryturę i zarządzanie Yamaguchi-gumi przekazał swojemu synowi, Noboru. Drugi boss sprawował rządy do swojej śmierci w 1942 roku. Przez 4 lata w szeregach organizacji brakowało przywódcy, jednak funkcjonowała ona nadal.
Trzecim szefem został wybrany w 1946 roku Kazuo Taoka, zwany "Niedźwiedziem". Za jego rządów Yamaguchi-gumi prowadził szczególnie agresywną ekspansję, wchłaniając część mniejszych organizacji przestępczych. Gang podejmował również starania, aby pewien procent przychodów pochodził z legalnych źródeł. Tym sposobem zrodziły się przedsiębiorstwa budowlane oraz zajmujące się przemysłem filmowym i muzycznym, kontrolowane przez gang. Jedno z nich, Kōbe Geinōsha (Agencja Promocji Sztuk Widowiskowych w Kobe) należało do najbardziej wpływowych ówcześnie agencji artystycznych w Japonii.