Attention-Mechanismus

Der Titel war 2017 als Behauptung gemeint und hat sich näherungsweise bestätigt: Attention Is All You Need, acht Autoren, alle bei Google. Die Arbeit stellte die Transformer-Architektur vor und räumte damit ab, was die Sequenzmodellierung ein Jahrzehnt lang bestimmt hatte — rekurrente Netze und Faltungsnetze —, zugunsten eines einzigen Bausteins: Attention. Der Einfall ist fast peinlich schlicht. Jedes Token einer Folge schickt eine Query aus, eine Frage danach, was es sucht; jedes andere hält einen Key bereit, der anzeigt, was es zu bieten hat; wo Frage und Angebot zusammenpassen, strömt der Value des passenden Tokens herüber. Kontext wird zur Suche, die jedes Wort gegen jedes andere führt. Fünf Jahre später war jedes große Sprachmodell ein Transformer: ChatGPT, Claude, Gemini, das proteinfaltende AlphaFold, die Bildgeneratoren Stable Diffusion und DALL·E, dazu die Systeme für Musik und für Code — alle Transformer, alle auf Attention gebaut.

Self-Attention heißt: Jedes Token blickt auf jedes andere und bildet aus deren Repräsentationen eine gewichtete Summe, wobei die Gewichte gelernt sind. Wie gut die Query des einen zum Key des anderen passt, legt das Gewicht fest, und dieses Gewicht bestimmt, wie viel vom Value des zweiten in das erste einfließt; führt man das für alle Paare durch, steht am Ende jedes Wort als Mischung derjenigen Wörter da, die es für einschlägig hielt. Kontext ist ein gewichteter Durchschnitt über alles bisher Relevante — das ist die Anschauung dahinter. Drei Eigenschaften hatten rekurrente Netze so nicht. Erstens lässt sich durchgehend parallel rechnen: Wo ein rekurrentes Netz die Information Schritt für Schritt weiterreichen musste, vergleicht Attention die ganze Folge auf einen Schlag. Zweitens bestehen unmittelbare Verbindungen zwischen weit auseinanderliegenden Token — das letzte Wort greift direkt auf das erste zu, ohne den Engpass eines einzigen verborgenen Zustands. Drittens verträgt der Mechanismus mehr Daten ebenso anstandslos wie mehr Parameter. So überholte Attention die Rekurrenz: Parallele Hardware ließ sich endlich auslasten, und Fernabhängigkeiten verblassten nicht länger mit der Distanz. Der Transformer stapelt Self-Attention mit Feedforward-Schichten, Residualverbindungen und Layer-Normalisierung und trainiert das Ganze mit Backpropagation auf riesigen Textkorpora. Dass der Verlust dabei vorhersagbar sinkt, sobald Modellgröße, Datenmenge und Rechenleistung steigen, zeigten die Skalierungsgesetze von Kaplan u. a. (2020) und Hoffmann u. a. (2022) — aus dem Vergrößern wurde damit ein Programm statt einer Vermutung. GPT-3 (2020) machte sichtbar, dass hinreichend große Transformer emergente Fähigkeiten entwickeln, die kleineren verschlossen bleiben: In-Context-Learning, Few-Shot-Reasoning, Code-Generierung. GPT-4, Claude, Gemini und die offene Llama-Familie bauen auf demselben Skelett auf. Einen Haken hat die Sache: Weil jedes Token jedes andere ansieht, wächst der Aufwand quadratisch mit der Länge der Folge — deshalb ist langer Kontext so schwer zu haben.