Convolutional- & Recurrent-Netze

CNNs unterstellen Lokalität und Translationsinvarianz, RNNs die Sequenz. Sie trugen den Deep-Learning-Boom 2012–2017, ehe die Transformer kamen — in denen ihre Vorannahmen fortleben.

Als Nächstes empfohlen → Neuronale Netze · CS·KI

Der Beitrag

Ende der 1980er hatte Yann LeCun in den Bell Labs ein faltendes neuronales Netz (Convolutional Neural Network, CNN) im Einsatz, das handgeschriebene Postleitzahlen für die amerikanische Post las — ein echtes Produkt, das echte Arbeit verrichtete und außerhalb des Labors kaum jemanden interessierte. Die Architektur hatte sogar einen Namen, LeNet, und einen klaren Stammbaum zurück zum visuellen Kortex. Trotzdem blieben Faltungsnetze zwei Jahrzehnte am Rand der Computer Vision — es fehlten die Daten und die Rechenleistung, mit denen sie hätten glänzen können. 2012 gewann dann AlexNet (Krizhevsky, Sutskever, Hinton) den ImageNet-Wettbewerb mit derart großem Abstand, dass die handgebauten Bildverarbeitungs-Pipelines — das gesammelte Handwerk einer Forschergeneration — praktisch über Nacht aufgegeben wurden. Der Unterschied war keine neue Idee, sondern endlich genug beschriftete Bilder und ein Weg, auf Grafikhardware zu trainieren. Das rekurrente neuronale Netz (RNN), verfeinert zu LSTM und GRU, erlebte dieselbe Geschichte bei Sequenzen — Übersetzung, Spracherkennung, Sprachmodellierung —, bis 2017 die Transformer kamen und es fast überall ablösten.

Beide Architekturen sind induktive Biases: Vorannahmen über die Struktur der Daten, fest ins Netz eingebaut, damit weniger davon von Grund auf gelernt werden muss. Ein CNN unterstellt, dass bedeutsame Merkmale lokal sind — die Beziehung eines Pixels zu seinen Nachbarn zählt mehr als die zu einem Pixel am anderen Bildrand — und translationsinvariant: Eine Katze ist eine Katze, egal wo im Bild. Umgesetzt wird beides durch die Faltung: Ein kleiner Filter, das rezeptive Feld, gleitet über das Bild und verwendet an jeder Position dieselben Gewichte — ein einmal gelerntes Muster erkennt sein Merkmal damit überall zugleich. Dieses Weight Sharing macht das Netz nebenbei kompakt: Eine Handvoll Filter leistet, wofür eine vollverbundene Schicht Millionen Parameter bräuchte. Pooling fasst anschließend jede Region zusammen und opfert die genaue Position für Robustheit gegen kleine Verschiebungen. Stapelt man solche Schichten, entsteht von allein eine Hierarchie: Frühe Filter springen auf Kanten und Texturen an, mittlere auf Motive und Formen, späte auf Teile und ganze Objekte — ein grobes Echo dessen, wie offenbar auch das Sehsystem Wahrnehmung aufbaut. Ein RNN setzt die entgegengesetzte Datengestalt voraus: Die Eingabe ist eine Sequenz, abgearbeitet Schritt für Schritt, mit einem verborgenen Zustand als mitlaufendem Gedächtnis für das, was schon war — wie gemacht für Sprache und Zeitreihen. LSTMs und GRUs ergänzten Gating-Mechanismen gegen die verschwindenden Gradienten, also dagegen, dass Fehlersignale auf dem Rückweg durch lange Sequenzen exponentiell verblassen und ferner Kontext praktisch unlernbar wird; diese Gates lassen das Netz wählen, was es behält, was es vergisst und was es unverändert durchreicht. In der Bildverarbeitung sind CNNs nach wie vor weit verbreitet — medizinische Bildgebung, Satellitenbilder, Video. RNNs dagegen sind weitgehend ausgemustert, verdrängt von Transformern, die ganze Sequenzen parallel verarbeiten statt Schritt für Schritt.

Warum jetztDie eigentliche Lehre: der passende induktive Bias — Lokalität für Bilder, Sequentialität für Text — hat Deep Learning auf jeder Domäne überhaupt erst zum Laufen gebracht, und zwar bevor genug Daten und Rechenleistung da waren, um den Bias entbehrlich zu machen. Transformer sind die allgemeinere Architektur: Sie lernen die Struktur, statt sie vorauszusetzen, brauchen dafür mehr Daten und mehr Rechenleistung — und verallgemeinern im Gegenzug weiter. Deshalb eroberten sie erst die Sprache und dann das Sehen. Moderne Bildverarbeitung setzt zunehmend auf Vision Transformer (ViT, 2020) statt auf CNNs; Hybride und reine CNNs (ConvNeXt, 2022) halten allerdings voll mit — ein Hinweis darauf, dass keine Architektur das letzte Wort behält und die Grenze zwischen den Familien weiter verschwimmt. Und die begrifflichen Nachfahren von Faltung und Rekurrenz leben in Transformer-Varianten fort, oft unerkannt: Lokalität kehrt als Attention mit begrenztem Fenster wieder, Rekurrenz als zwischengespeicherter Zustand eines Modells, das Token für Token erzeugt.