Backpropagation

Rückwärts durch die Kettenregel gerechnet, erfährt jedes Gewicht im Netz seinen Anteil am Fehler. Erst diese Rechnung macht tiefe Netze überhaupt trainierbar.

Als Nächstes empfohlen → Die Ableitung · MATH · T4

Der Beitrag

Neu war 1986 wenig: Verwandte Verfahren hatte man in den sechziger und siebziger Jahren mehrfach unabhängig voneinander gefunden, und den Rückwärtsmodus des automatischen Differenzierens, auf dem alles beruht, hatte Seppo Linnainmaa schon 1970 beschrieben. Was Rumelhart, Hinton und Williams in Nature lieferten, war die einflussreichste Darstellung von Backpropagation — dem Verfahren, das effizient ausrechnet, wie die Gewichte eines neuronalen Netzes zu ändern sind, damit der Fehler kleiner wird — und, wichtiger noch, den Augenblick, in dem das Fach begriff: Mehrschichtige Netze zu trainieren ist im Prinzip gelöst. Der Fehler am Ausgang lässt sich gerecht auf jedes Gewicht verteilen, das ihn miterzeugt hat. Vier Jahrzehnte später läuft so gut wie jedes KI-System im Einsatz noch immer auf Backpropagation, und ganze Branchen haben sich darum neu sortiert.

Backpropagation ist die Kettenregel im industriellen Maßstab. Ein neuronales Netz ist eine Kette differenzierbarer Abbildungen, die von der Eingabe zur Ausgabe und weiter zu einer Verlustfunktion führt — dem Maß dafür, wie weit das Netz danebenliegt. Jeder Trainingsschritt beginnt mit dem Vorwärtsdurchlauf: Die Daten wandern durch die Schichten bis zur Vorhersage. Dann folgt der Rückwärtsdurchlauf, bei dem der Fehler am Ausgang Schicht für Schicht zurückgereicht wird, bis jedes Gewicht seinen Anteil am Irrtum kennt. Möglich macht das die Kettenregel: Multipliziert man unterwegs die lokalen Jacobi-Matrizen, erhält man den Gradienten des Verlusts nach jedem einzelnen Parameter. Damit schiebt der Gradientenabstieg — in der Praxis eine stochastische Variante — jeden Parameter ein Stück bergab, dem kleineren Verlust entgegen, und das milliardenfach. Der eigentliche Kniff ist die Recheneffizienz: Vorwärts- wie Rückwärtsdurchlauf kosten je O(Netzgröße), und erst das machte tiefe Netze trainierbar statt zu einer Kuriosität für Theoretiker. Im Weg stand lange das Problem verschwindender und explodierender Gradienten — über viele Schichten hinweg schrumpft das Fehlersignal auf null oder wächst ins Unermessliche. Gezähmt hat es ein Bündel von Neuerungen: ReLU-Aktivierungen, Normalisierungsschichten und Residualverbindungen, die dem Gradienten einen freien Rückweg geben. Dass das Rezept auch im großen Maßstab trägt, zeigte 2012 AlexNet auf ImageNet, wo es die von Hand gebauten Pipelines der Bildverarbeitung deklassierte. Alles danach — Bildgenerierung, Sprachassistenten, AlphaGo, GPT, Claude, AlphaFold — ist Anwendung oder Ausbau desselben Musters.

Warum jetztKein Algorithmus des einundzwanzigsten Jahrhunderts hat wirtschaftlich mehr bewegt — um Größenordnungen mehr. Was heute an der Front steht — große Sprachmodelle, Diffusionsmodelle, multimodale Systeme, Policies für die Robotik —, ist Backpropagation in immer größerem Maßstab. Ob echte Neuronen so etwas überhaupt umsetzen, gilt in der theoretischen Neurowissenschaft weiter als offene Frage; die Praktiker der KI lassen sie auf sich beruhen: Was das Gehirn auch tut, Backprop funktioniert.