Neuronale Netze

1943 fassten Warren McCulloch und Walter Pitts das Neuron als binäre Schwelleneinheit — es feuert, sobald die gewichtete Summe seiner Eingänge eine Schwelle übersteigt — und zeigten, dass Netze aus solchen Einheiten jede logische Funktion berechnen. 1958 baute Frank Rosenblatt das Perzeptron, ein einschichtiges Netz mit Lernregel; die New York Times nannte es den Embryo einer Maschine, die dereinst gehen, sprechen und ihrer selbst bewusst sein werde. Elf Jahre darauf wiesen Minsky und Papert nach, dass einschichtige Netze nicht einmal XOR lernen, das Presseinteresse brach weg, und das Fach ging in seinen ersten langen Winter. Die Abhilfe — mehrschichtige Netze, mit Backpropagation trainiert — wurde mehrfach neu entdeckt, ehe Rumelhart, Hinton und Williams ihr 1986 die kanonische Gestalt gaben. In den 1990ern folgte ein zweiter Winter. Die Deep-Learning-Wende kam 2012, als AlexNet den ImageNet-Wettbewerb mit einem Abstand gewann, der die Debatte beendete.

Der Baustein ist das künstliche Neuron: Es nimmt seine Eingaben, bildet eine gewichtete Summe, addiert einen Bias und schickt das Ergebnis durch eine nichtlineare Aktivierung — eine grobe Karikatur des Integrate-and-fire-Verhaltens biologischer Neuronen, keine Kopie ihrer unordentlichen Elektrochemie. Viele solcher Einheiten nebeneinander ergeben eine Schicht; stapelt man die Schichten so, dass jede die nächste speist, ist ein neuronales Netz genau das: ein Stapel linearer Abbildungen — Multiplikation mit einer Gewichtsmatrix, Addition eines Bias —, durchsetzt mit nichtlinearen Aktivierungen (früher Sigmoid, heute ReLU oder GELU). Auf die Nichtlinearität kommt alles an: Ohne sie fällt jeder noch so hohe Stapel zu einer einzigen linearen Abbildung zusammen und kann nicht mehr als das Perzeptron, das an XOR scheiterte. Den Reichtum bringt die Tiefe — frühe Schichten lernen grobe Merkmale, spätere setzen daraus Abstraktes zusammen, und so findet das Netz seine eigene Darstellung der Daten, statt eine vorgesetzt zu bekommen. Der universelle Approximationssatz (Cybenko 1989, Hornik 1991) sichert zu, dass ein solches Netz mit genügend verdeckten Einheiten jede stetige Funktion beliebig gut annähert — wie viele es braucht und wie die Gewichte zu finden sind, sagt er nicht. Die praktische Antwort heißt Backpropagation: Ein Verlust misst, wie falsch das Netz liegt; über die Kettenregel wandert dessen Gradient rückwärts durch jedes Gewicht, und jedes wird ein Stück in die Richtung geschoben, die den Verlust senkt — ein Verfahren, das unter eigenem Namen behandelt wird, dem Gradientenabstieg. Das wiederholt sich über die Daten, bis der Verlust nicht mehr fällt. Je tiefer der Stapel, desto schwerer fiel das früher, weil die Gradienten auf dem Rückweg zu den ersten Schichten verschwinden konnten — bessere Aktivierungen und Initialisierungen haben das später entschärft. Varianten (Momentum, Adam, Lernratenpläne) und der stochastische Gradientenabstieg auf Mini-Batches machen aus dem mathematisch Geradlinigen etwas, das bis zu Netzen mit Hunderten Milliarden Parametern trägt. Die große Überraschung des vergangenen Jahrzehnts: Dieses sehr einfache Rezept bringt, im großen Maßstab angewandt, immer weiter Fähigkeiten hervor, die keine Theorie vorhergesagt hat.