Wiederhole ein Experiment mit zufälligen Ausgängen — Münzwurf, Würfelwurf, eine Ziehung aus irgendeiner Wahrscheinlichkeitsverteilung — und mittle die Ergebnisse. Mit wachsender Versuchszahl konvergiert der Mittelwert gegen den Erwartungswert. Das ist das Gesetz der großen Zahlen. Streng bewiesen wurde es zuerst von Jacob Bernoulli in seiner postumen Ars Conjectandi (1713) für den Spezialfall binärer Ausgänge; Chintschin (1929) gab die schwache Fassung für allgemeine Verteilungen, Kolmogorow (1933) die starke. Der Satz ist das begriffliche Fundament der gesamten frequentistischen Statistik: Wahrscheinlichkeiten lassen sich gerade deshalb als langfristige Häufigkeiten beobachten, weil das Gesetz der großen Zahlen sie dazu macht. Er ist auch der Grund, warum Casinos am Ende immer gewinnen.
Seien X₁, X₂, X₃, … unabhängig und identisch verteilte Zufallsvariablen mit endlichem Erwartungswert μ = 𝔼[Xᵢ], und sei X̄ₙ = (X₁ + … + Xₙ)/n der Stichprobenmittelwert. Das schwache Gesetz der großen Zahlen sagt, dass X̄ₙ in Wahrscheinlichkeit gegen μ konvergiert: für jedes ε > 0 geht P(|X̄ₙ − μ| > ε) → 0, wenn n → ∞. Das starke Gesetz sagt, dass X̄ₙ fast sicher gegen μ konvergiert. Der Beweis des schwachen Gesetzes folgt aus der Tschebyscheff-Ungleichung, angewandt auf den Stichprobenmittelwert, dessen Varianz σ²/n linear mit n schrumpft. Was das Gesetz nicht sagt: dass einzelne Abweichungen kleiner werden (die Summe Σ Xᵢ schwankt weiter, nach dem zentralen Grenzwertsatz in der Ordnung √n); es sagt, dass der Mittelwert der Abweichungen kleiner wird. Der Spielerfehlschluss versteht das Gesetz, als erzwinge es einen Ausgleich — eine Pechsträhne werde durch Glück „ausgewogen“ —, doch jeder Versuch ist unabhängig, und die langfristige Konvergenz wird nicht von einem nachholenden Mechanismus erzwungen. Casinos nutzen das Gesetz als Geschäftsmodell: jedes einzelne Spiel ist für den Kunden ein kleiner Erwartungsverlust; über Millionen Spiele aggregiert macht das Gesetz den Bruttoertrag des Hauses statistisch nahezu deterministisch. Versicherer arbeiten nach demselben Prinzip: einzelne Schadensereignisse sind unvorhersagbar, doch der aggregierte Schaden eines großen Versichertenkollektivs ist vorhersagbar genug, um ihn zu bepreisen. Die Versagensmodi sind korrelierte Stichproben (wenn die Xᵢ nicht unabhängig sind, kann das Gesetz scheitern), unendliche Varianz (die Cauchy-Verteilung ist das klassische Beispiel) und Verteilungen mit schweren Rändern, bei denen die Konvergenz technisch gilt, aber sehr langsam erfolgt.
Statistisches Schätzen — Mittelwerte, Anteile, Regressionskoeffizienten, Trainingsmetriken im maschinellen Lernen — ist durchs Gesetz der großen Zahlen gerechtfertigt: wächst die Stichprobe, laufen stichprobenbasierte Schätzer auf die Werte der Grundgesamtheit zu. Monte-Carlo-Verfahren in Physik, Finanzwesen und Technik verlassen sich darauf, dass das Gesetz die Zufallsstichproben gegen die wahren Integrale treibt. Versicherer bepreisen Risiken in der Annahme, dass aggregierte Schäden GdgZ-stabil sind; die Katastrophenversicherung ist der schwierige Schwanz, an dem das Gesetz scheitert. Die Portfolio-Diversifikation mittelt idiosynkratisches Risiko über das Gesetz heraus; das systemische Risiko (korrelierte Abschwünge) ist der Versagensmodus, den 2008 vorgeführt hat. Das KI-Training stützt sich auf jeder Skala auf das Gesetz: der stochastische Gradientenabstieg über Mini-Batches setzt voraus, dass Batch-Mittelwerte der Gradienten gegen die wahren Gradienten konvergieren — was sie tun, sofern die Daten i.i.d. sind, und was sie eben nicht ganz tun, wenn die Daten korreliert sind.