Mechanistische Interpretierbarkeit

Was ein trainiertes Netz gelernt hat, lässt sich rückentwickeln — Algorithmus für Algorithmus. Bisher sind es Inseln der Klarheit in einem großen Unbekannten.

Als Nächstes empfohlen → Neuronale Netze · CS·KI

Der Beitrag

Ein trainiertes neuronales Netz kann niemand lesen. Wir trainieren es, setzen es ein, messen seine Ausgaben — aber die Hunderte Milliarden Gewichte in seinem Inneren bleiben ein fremdes Artefakt: ein erstarrtes Zahlenmuster, das Berechnungen ausführt, die sich uns nicht erschließen. Die mechanistische Interpretierbarkeit ist das Forschungsprogramm, das daraus die Konsequenz zieht. Statt das Modell als Black Box zu behandeln, die man nur von außen über ihr Verhalten abtastet, will sie das trainierte Netz in menschenverständliche Teile zerlegen: die Merkmale, die es repräsentiert, und die Schaltkreise, die daraus Berechnung machen. Am Ende soll mehr stehen als die Vorhersage, was das Modell tun wird — nämlich der gelernte Algorithmus selbst, rückentwickelt und verstanden wie ein Stück von Menschen geschriebener Software: Zeile für Zeile, Mechanismus für Mechanismus, bis das Verhalten keine Überraschung mehr ist.

Die ersten Erfolge kamen aus der Bildverarbeitung. Chris Olah und Mitarbeiter zeigten: Frühe CNN-Schichten lernen Kantendetektoren, mittlere Texturen und Teile, tiefe Objektdetektoren — und diese Merkmale hängen über deutbare Schaltkreise zusammen, die erkennbare Algorithmen rechnen, Kurvenerkennung etwa oder Hundekopf-Erkennung. Entscheidend: Ein Schaltkreis lässt sich prüfen. Schaltet man seine Teile ab oder verstärkt sie, verschiebt sich das Verhalten so, wie die Erklärung es vorhersagt — aus einer plausiblen Erzählung wird eine kausale Behauptung statt einer bequemen Just-so-Story. Dann verlagerte sich die Front zu den Transformern, wo kleine, wiederverwendbare Mechanismen auftauchten, etwa Induktionsköpfe: gepaarte Attention-Komponenten, die bemerken, dass ein Token schon einmal vorkam, und kopieren, was damals folgte — eine schlichte Kopierregel im Kontext, auf der ein Gutteil der verblüffenden Fähigkeit ruht, aus dem eigenen Prompt zu lernen. Nur das Lesen Neuron für Neuron scheiterte immer wieder, denn die meisten Neuronen sind polysemantisch: Eine einzelne Einheit feuert für viele Begriffe, die nichts miteinander zu tun haben. Die tiefere Ursache heißt Superposition — ein Netz speichert mehr Merkmale, als es Dimensionen hat, als einander überlappende Linearkombinationen: etwas Störung eingetauscht gegen weit mehr Darstellungsraum. Die Antwort darauf ist Sparse Dictionary Learning: Sparse Autoencoder zerlegen die verfilzten Aktivierungen in ein großes Vokabular sauberer, monosemantischer Merkmale, deren jedes im Idealfall genau eines bedeutet. So extrahierte die Arbeit Mapping the Mind of a Large Language Model Millionen menschenlesbarer Merkmale aus einem Frontier-Modell — für Wahrzeichen, für Programmierfehler, für Schmeichelei, für Täuschung — und zeigte, dass sie sich hoch- und herunterregeln lassen, um das Verhalten zu lenken. Der Werkzeugkasten — Probing, Ablation, Activation Patching, Dictionary Learning — wird rasch besser; was wir bisher verstehen, sind Inseln der Klarheit in einem großen Unbekannten.

Warum jetztIhr Gewicht bezieht die Interpretierbarkeit vor allem daraus, dass sie die KI-Sicherheit direkt berührt. Solange wir das innere Schließen eines Modells nicht lesen können, wissen wir nicht, ob es ein Problem wirklich löst oder sich nur per Mustererkennung zu einer plausiblen Antwort hangelt; nicht, ob es unbemerkt eine täuschende Strategie gelernt hat; nicht, ob das Alignment-Training das Verhalten in der Tiefe erreicht oder bloß die Oberfläche glattfeilt. Dieselbe Lücke zehrt am Vertrauen: Ein System, in das wir nicht hineinsehen können, müssen wir auf Treu und Glauben nehmen — und Glaube trägt nicht bis in Einsätze, bei denen viel auf dem Spiel steht, in Medizin, Finanzwesen oder Recht. Das Versprechen der Interpretierbarkeit ist ein anderes Verhältnis zum Modell: seine Mechanismen prüfen, bevor man sich auf sie verlässt, und Fehler finden, indem man die Berechnung liest, statt auf das Fehlverhalten zu warten. Noch ist das Feld jung und schnelllebig: 2026 ist es in seiner heutigen Form kaum ein Jahrzehnt alt und immer noch an den Frontier-Laboren und einer Handvoll akademischer Gruppen konzentriert; die Methoden sind grob, die Befunde vorläufig. Ob die Interpretierbarkeit schnell genug skaliert, um mit den Fähigkeiten Schritt zu halten, ist eine der wirklich folgenreichen Forschungsfragen dieses Jahrzehnts.