Große Sprachmodelle

Transformer auf dem öffentlichen Internet, skaliert über die Schwelle neuer Fähigkeiten — die Technologie dieses Zyklus.

Als Nächstes empfohlen → Reinforcement Learning aus menschlichem Feedback · CS·KI · T4

Der Beitrag

Ein großes Sprachmodell ist im Grunde ein System, das auf eine einzige, eng umrissene Aufgabe trainiert wird: das nächste Token vorherzusagen — das nächste Textfragment — auf Grundlage all dessen, was zuvor kam. Lässt man dieses schlichte Ziel über ein riesiges Korpus menschlichen Schreibens laufen, mit einem Netz hinreichender Größe, so geschieht etwas Unerwartetes. Das Modell lernt nicht bloß, Sätze zu vervollständigen; als Nebeneffekt des korrekten nächsten Wortes eignet es sich eine praktische Beherrschung von Grammatik, Faktenwissen, Stil, Schlussfolgern und den Konventionen dutzender menschlicher Sprachen und formaler Systeme an. Um Text gut genug vorherzusagen, so zeigt sich, ist ein Modell genötigt, sehr viel über die Welt zu verinnerlichen, die der Text beschreibt. Das ist die zentrale Überraschung des Feldes — der Sprung von einem einzigen statistischen Ziel zu breiter scheinbarer Kompetenz — und der Grund, weshalb ein Werkzeug, das bloß vervollständigen sollte, binnen weniger Jahre zu einem allgemeinen Instrument für die Arbeit mit Sprache wurde.

Die zugrunde liegende Architektur ist der Transformer, dessen Attention-Mechanismus jede Position in einem Text jede andere gewichten lässt — ein eigenständiges, andernorts behandeltes Konzept. Zum Sprachmodell wird das Ergebnis erst durch das Training. Text wird zunächst von einem gelernten Vokabular in Tokens zerlegt, sodass das Modell über Wortteile statt über reine Zeichen oder ganze Wörter operiert; das hält das Vokabular endlich und kann zugleich jeden seltenen Begriff buchstabieren. Das Vortraining optimiert dann eine einzige Verlustfunktion: das nächste Token über Billionen von Wörtern hinweg vorherzusagen und dabei Milliarden von Parametern so lange nachzustellen, bis die Vorhersagen schärfer werden. Weil sich nahezu jedes Wissen als Lückentext formulieren lässt, zwingt dieses eine Ziel das Modell beiläufig dazu, Syntax, Faktenwissen und Schlussfolgern zugleich zu kodieren. Nichts von diesem Wissen liegt als Nachschlagetabelle vor; es ist in die Gewichte selbst komprimiert, weshalb ein Modell das Gelesene zu Sätzen neu zusammensetzen kann, die in seinem Korpus nie vorkamen. Ein so trainiertes Modell ist sprachgewandt, aber ungesteuert — ebenso bereit, eine Frage fortzusetzen wie sie zu beantworten. Eine zweite Stufe, das Alignment, macht es nutzbar. Instruction Tuning bringt ihm bei, Text als zu erfüllende Aufforderung zu lesen; bestärkendes Lernen aus menschlichem Feedback (RLHF) lenkt seine Ausgaben anschließend in Richtung jener Antworten, die Menschen als hilfreich und ehrlich beurteilen, und tauscht ein wenig rohe Geläufigkeit gegen Steuerbarkeit. Die auffälligste Eigenschaft zeigt sich erst mit der Größe: Fähigkeiten, die kleinen Modellen fehlen — mehrschrittiges Schlussfolgern, Übersetzen, einfaches Rechnen —, treten mit wachsender Größe und Datenmenge hervor, oft ohne eigens dafür trainiert worden zu sein, sodass quantitatives Wachstum in qualitative Veränderung umschlägt. Verwandt damit ist das In-Context-Learning: anhand weniger Beispiele im Prompt selbst kann ein Modell eine Aufgabe lösen, für die es nie ausdrücklich nachtrainiert wurde — es lernt innerhalb des Gesprächs statt aus irgendeiner Aktualisierung seiner Gewichte.

Warum jetztDie ehrlichen Grenzen wiegen so schwer wie die Fähigkeiten. Ein Sprachmodell besitzt keine inhärente Verankerung in der Wahrheit: es ist darauf optimiert, plausible Fortsetzungen zu erzeugen, und Plausibilität und Richtigkeit überschneiden sich nur teilweise. Wo beide auseinanderfallen, äußert das Modell Unwahrheiten mit derselben selbstbewussten Geläufigkeit wie Tatsachen — jener Fehlermodus, den man Halluzination oder Konfabulation nennt. Nichts am Ziel der Token-Vorhersage belohnt das Eingeständnis Ich weiß es nicht, und so bietet das Modell es nur selten von sich aus an. Die Ausgabe reagiert zudem äußerst empfindlich auf den Prompt: kleine Änderungen im Wortlaut können die Antwort kippen lassen, sodass das gute Formulieren der Anfrage selbst zur Fertigkeit geworden ist. Nichts davon ist ein vorübergehender Mangel, den man wegpatchen könnte; es folgt aus dem, was das System ist — ein Modell dafür, wie Text sich fortzusetzen pflegt, nicht ein Modell der Welt. Mit diesem Verständnis genutzt, sind große Sprachmodelle ein wahrhaft neuartiges Werkzeug. Für Orakel gehalten, führen sie in genau jener geläufigen, selbstsicheren Stimme in die Irre, die sie überzeugend macht.