Skalierungsgesetze

Im Januar 2020 legten Jared Kaplan und Kollegen bei OpenAI Scaling Laws for Neural Language Models vor, eine sorgfältige empirische Studie mit einem bemerkenswert einfachen Befund: Der Testverlust von Transformer-Sprachmodellen sinkt vorhersagbar — als Potenzgesetz in drei Größen, der Zahl der Parameter (N), der Menge der Trainingsdaten (D) und dem Rechenaufwand (C). Der Zusammenhang trug über sieben Größenordnungen und zeigte auf keiner getesteten Skala offensichtlich abnehmende Erträge. Zwei Jahre später korrigierte Training Compute-Optimal Large Language Models von Hoffmann et al. bei DeepMind — das Chinchilla-Paper — Kaplans Rezept für die Aufteilung des Rechenbudgets: Optimal wachsen N und D gemeinsam, in etwa gleichem Verhältnis. Zusammen machten die beiden Arbeiten aus der KI-Forschung etwas anderes: Aus einer Kunst, deren Fortschritt sich schwer vorhersagen ließ, wurde eine industrielle Pipeline, deren Erträge auf eingesetzte Rechenleistung sich prognostizieren lassen.

Kaplans Befund war eine empirische Regelmäßigkeit, kein Satz aus der Theorie: Über sieben Größenordnungen hinweg fiel der Testverlust von Transformer-Sprachmodellen als Potenzgesetz in den drei Größen Parameterzahl, Datenmenge und Rechenaufwand — glatte Kurven, ohne Knick, der abnehmende Erträge angezeigt hätte. Dieselben Exponenten tauchten bei Modellfamilien wieder auf, die nach demselben Grundrezept trainiert waren; das sah weniger nach einer Eigenheit der Architektur aus als nach einer Eigenschaft der Verlustlandschaft selbst. Für eine Branche, die das Jahrzehnt zuvor von Zufallsdurchbrüchen gelebt hatte, war die praktische Konsequenz enorm: Der Fähigkeitsertrag pro eingesetzter Rechenleistung ließ sich jetzt vorausberechnen. Das Chinchilla-Paper von DeepMind korrigierte 2022 das Rezept an einer Stelle, auf die es ankam: Kaplans Experimente waren durch suboptimale Lernraten-Schedules verzerrt gewesen; richtig abgestimmt sollten Parameter und Daten gemeinsam wachsen, in etwa gleichem Verhältnis. Das Chinchilla-Modell — 70 Milliarden Parameter, trainiert auf 1,4 Billionen Tokens — schlug zeitgenössische Modelle mit 175 bis 280 Milliarden Parametern, die weniger Daten gesehen hatten; die Faustregel von rund zwanzig Tokens pro Parameter wurde zum Betriebsrezept der Frontier nach 2022. Ein zweites Skalierungsregime öffnete die Inferenzzeit-Skalierung: Rechenleistung im Moment der Anfrage — längere Gedankenketten, mehr Stichproben, Suche über Lösungswege — lässt sich gegen Rechenleistung im Pre-Training tauschen; OpenAIs o1- und o3-Reihen haben genau das ausgereizt. Emergente Fähigkeiten wurden zu Hunderten katalogisiert, doch Schaeffer argumentierte 2023, viele dieser Sprünge seien Artefakte binärer Genauigkeitsmaße — auf kontinuierlichen Maßen wächst die zugrunde liegende Fähigkeit glatt. Bis 2024 sprachen mehrere Indizien dafür, dass die rohen Gewinne aus dem Pre-Training nachlassen: Hochwertige Textdaten sind zunehmend ausgeschöpft, synthetische Daten füllen einen Teil der Lücke — mit gemischten Ergebnissen. Und die DeepSeek-Veröffentlichungen von Ende 2024 und Anfang 2025 erreichten Fähigkeiten auf Frontier-Niveau zu deutlich geringeren Trainingskosten, als die US-Labore sie bis dahin aufwandten.