Die Yakuza berufen sich auf eine Abstammung von den Glückspielsyndikaten (博徒, bakuto) der Edo-Periode (etwa 1600 bis 1868). Die damaligen Yakuza bestanden fast ausnahmslos aus Menschen von „niederer Geburt“, also Angehörigen der Stände der Bauern und Handwerker, hauptsächlich jedoch der Kaufleute. Hatte man als solcher sein Land oder Geschäft durch Glücksspiel, Naturkatastrophen oder plündernde Rōnin verloren oder kam als Flüchtling vor Unruhen oder Strafverfolgung mittellos in eine neue Stadt, blieb einem nicht viel anderes übrig, als bei der Yakuza anzufragen. Diese gab einem dann eine Unterkunft und Arbeit; nicht selten zogen allein Geborgenheit innerhalb der Familienstruktur sowie Abenteuerlust und Hoffnung auf Respekt und Anerkennung unter der ländlichen Bevölkerung auch Freiwillige in die Dienste der Yakuza. Alle Polizeikräfte dagegen kamen damals aus dem Stand der Samurai, die durch die so genannte pax Tokugawa keine kriegerische Beschäftigung mehr hatten und sich auf den Schutz der öffentlichen Sicherheit konzentrierten. So entstand oft ein spannungsgeladenes Verhältnis zwischen den beiden Parteien, und die Yakuza wurden oft von den bushi als Möchtegern-Samurai ohne Ehrung des Bushidō herablassend behandelt. Trotzdem war ein Interessenkonflikt nicht unvermeidbar, und die Radikalität der verschiedenen kumi unterschied sich von Ort zu Ort stark, so gab es auch in wenigen Fällen Kooperation zwischen den beiden Gruppierungen, wenn es um Gemeindepolitik und um Anliegen der Bürger ging. Die Yakuza leitet daraus ein Robin-Hood-Image ab.
Relevanten Einfluss auf die japanische Gesellschaft erlangte die Yakuza erst wieder in den Zeiten der Unruhe am Anfang der Shōwa-Zeit ab 1926 und bis zum Zweiten Weltkrieg, sowie insbesondere nach der japanischen Niederlage ab 1945. Zu dieser Zeit entstanden die Strukturen der modernen Yakuza. Sie organisierte den Schmuggel und Schwarzhandel und schuf extra-legale Methoden zur Durchsetzung von legalen und illegalen Ansprüchen als die staatliche Justiz und Polizei die legalen Strukturen nicht mehr aufrechterhalten konnte. Nach dem Ende der Besatzungszeit und der Anerkennung Japans als souveräner Staat 1952 im Friedensvertrag von San Francisco folgte der Wiederaufbau der Wirtschaft und der staatlichen Strukturen. Die Yakuza reagierte auf den Wandel mit dem Aufbau eigener wirtschaftlicher Aktivitäten, insbesondere im Glücksspiel und der Bauwirtschaft. Die verschiedenen Banden konkurrierten und gerieten in Konflikte, die als blutige Bandenkriege um Einflussgebiete geführt wurden. Mitte der 1960er Jahre führte die Gewalt erstmals zu Verfolgungsdruck des Staates, der wiederum die Konzentration der Macht in den bis heute vorherrschenden drei Gruppen Yamaguchi-gumi, Sumiyoshi-kai und Inagawa-kai beschleunigte.
Die Rezession der 1970er Jahre und die Blasenökonomie der 1980er nutzte die Yakuza zum Einstieg in die Finanzbranche. Schutzgelderpressung börsennotierter Aktiengesellschaften unter dem Druck langdauernder und kostspieliger Einsprüche und Klagen von Kleinaktionären gegen Rechnungsabschlüsse und Geschäftsmethoden wurden ebenso zum Mittel der organisierten Kriminalität wie die aufkommende Containerschifffahrt den Schmuggel beflügelte. Ebenfalls in die 1980er Jahre fiel ein Generationswechsel in allen großen Syndikaten, insbesondere in der Yamaguchi-gumi wurde dieser bis Ende des Jahrzehnts blutig ausgetragen und führte zu erhöhtem Druck von Polizei, Politik und Öffentlichkeit auf die Gruppen.
Bis zum Inkrafttreten des Bōryokudan-Gesetzes im März 1992 waren die verschiedenen Banden großteils in legalen Strukturen organisiert. Mit dem Gesetz wurden alle als „gewalttätig“ bezeichneten Gruppen unter Druck gesetzt. Mitgliedschaft wurde nicht illegal, aber die sichtbare Betätigung wurde mit drastischen Strafen belegt. Die Yakuza-Organisationen gingen in den Untergrund. Dies und der wirtschaftliche Abschwung Japans in den 1990er Jahren schädigte den Einfluss und die Einnahmen, worauf die Banden ihre Methoden wiederum anpassen mussten.
Seit Oktober 2011 ist jegliche finanzielle Zusammenarbeit mit Yakuza-Gruppen unzulässig, alle japanischen Banken und viele andere Unternehmen haben Ausschluss-Klauseln in ihre Geschäftsbedingungen aufgenommen. In der Folge wird es für Mitglieder zunehmend schwieriger Konten zu unterhalten oder auch eine Wohnung zu mieten. 2013 ging die japanische Finanzaufsicht gegen die Mizuho Financial Group vor, weil sie ihre Geschäftspartner nicht ausreichend überprüft und so Transaktionen für Yakuza-Mitglieder abgewickelt hat.
und es meines er achtes nach in jedem Staat eine Yakuza geben sollte.
