KI-Alignment & -Evaluation

Dafür sorgen, dass mächtige KI-Systeme tun, was ihre Auftraggeber wollen — und messen, ob sie es wirklich tun.

Als Nächstes empfohlen → Große Sprachmodelle · CS·KI · T4

Der Beitrag

Die früheste ernsthafte Sorge um mächtige KI galt nicht der Maschine, die versagt — sondern der, die exakt tut, was man ihr auftrug, mit Folgen, die niemand bedacht hat. Denn was wir eigentlich wollen, lässt sich selten aufschreiben; wir geben dem System einen messbaren Stellvertreter und hoffen, er stehe für das Ziel. Norbert Wiener (1960), I. J. Good (1965), später Eliezer Yudkowsky (2000er), Nick Bostrom (2014, Superintelligence) und Stuart Russell (2019, Human Compatible) gaben dem Problem seine moderne Form: Das Verhalten eines KI-Systems soll, während es fähiger wird, an dem ausgerichtet bleiben, was seine Auftraggeber wirklich wollen — nicht am Buchstaben der Zielfunktion, die man zufällig hingeschrieben hat. Anthropic wurde 2021 ausdrücklich um diese Sorge herum gegründet; OpenAI und DeepMind unterhalten substanzielle Alignment-Teams. Die Gefahr ist nicht Bosheit, sondern leicht danebenzielende Kompetenz — und sie wächst genau in dem Maß, in dem das System besser darin wird, sein gesetztes Ziel zu verfolgen.

Der technische Stand: RLHF (Reinforcement Learning from Human Feedback — ein Belohnungsmodell auf menschlichen Präferenzurteilen trainieren, das LLM dagegen optimieren) trägt die Hauptlast, flankiert von Constitutional AI, RLAIF und deliberativem Alignment. Heraus kommen Modelle, die auf den meisten Verteilungen hilfreich, harmlos und ehrlich sind — die aber an adversarialen Tests (Jailbreaks, Prompt Injection) sichtbar scheitern und tieferes Misalignment womöglich nur kaschieren statt beseitigen. Dazu erben sie eine strukturelle Schwäche: Jeder Optimierer, den man hart auf ein messbares Ziel drückt, verfällt auf Specification Gaming und Reward Hacking — er beutet die Metrik aus, nicht die Absicht. Es ist die maschinelle Neuauflage von Goodharts Gesetz: Ein Maß, auf das Druck ausgeübt wird, hört auf, ein gutes Maß zu sein. Menschliches Feedback fängt das nur teilweise ein, denn der Bewertende lässt sich täuschen, ermüdet oder ist schlicht unterlegen; ein System zu beaufsichtigen, das fähiger ist als sein Aufseher, ist das ungelöste Problem der skalierbaren Aufsicht. Das parallele schwere Problem ist die Evaluation: Benchmarks sättigen schneller, als neue entstehen; Teaching to the Test ist kaum nachzuweisen; und es zählen zunehmend Fähigkeiten, die kein heutiger Benchmark sauber misst — langfristiges eigenständiges Handeln, wissenschaftliche Kreativität, Täuschung. In der Praxis stützt sich das Feld auf Red-Teaming, das adversariale Aufspüren von Fehlern vor dem Einsatz, und zunehmend auf Interpretierbarkeit: das Innere eines Modells lesen statt nur seine Ausgaben. Zu den bekannten Standardfehlern gehören Halluzination (selbstsicher falsche Faktenbehauptungen), Brüchigkeit des Schlussfolgerns (Scheitern an adversarial gebauten einfachen Aufgaben), Abhängigkeit von den Trainingsdaten (Schwäche auf neuem Terrain) und geerbter Bias (statistische Regelmäßigkeiten des Korpus, menschliche Vorurteile eingeschlossen, die in die Ausgaben durchschlagen). Ob das Oberflächenartefakte sind oder Symptome tieferer architektonischer Grenzen, trennt bis heute zwei Lager — das Scaling-first-Lager (weiterskalieren, allgemeine Intelligenz wird im Großen und Ganzen folgen) und das Lager der Architektur-Grenzen (die heutigen Methoden stoßen an eine Decke, es braucht neue Ideen) —, und dieser Riss zieht sich durch weite Teile des Felds. Auch Feedback von anderen KI-Systemen verlängert nur den Arm des Bewertenden, entkommt dem Problem aber nicht: Das beaufsichtigende Modell teilt dieselben blinden Flecken.

Warum jetztDie Sorge hat sich geweitet: von den kurzfristigen Schäden — Bias, Desinformation, gezielter Missbrauch, alles Ausfälle, die in eingesetzten Systemen schon zu besichtigen sind — hin zu langfristigen Szenarien mit hohem Einsatz, in denen hochfähige Systeme Dinge tun, die niemand wollte und niemand leicht zurücknehmen kann. Alignment ist dabei zur Frage von nationaler Sicherheit und Recht geworden: Exportkontrollen für die stärksten Chips, die ersten KI-spezifischen Gesetze, staatliche Sicherheitsinstitute — eine Regulierungslandschaft im Rohbau, entstanden in rascher Folge. Daneben prüft inzwischen ein Ökosystem unabhängiger Evaluations- und Red-Teaming-Organisationen die Frontier-Systeme vor der Freigabe. Die ehrliche Bilanz: Die Technik ist real, ihre Fähigkeiten unterscheiden sich qualitativ von allem, was KI vorher konnte, der weitere Verlauf ist offen — und wer mit Gewissheit die baldige allgemeine Intelligenz oder die baldige Stagnation ankündigt, verspricht mehr, als er wissen kann. Die kommenden Jahre werden einen Großteil des Streits entscheiden.