Reinforcement Learning aus menschlichem Feedback

Ein vortrainiertes großes Sprachmodell verfügt über breite Fähigkeiten, verhält sich ohne weitere Anpassung jedoch häufig unzuverlässig oder unsicher: Es antwortet selbstsicher falsch, folgt schädlichen Anweisungen, verliert sich in wirren Monologen, räumt Unsicherheit nicht ein, gibt Trainingsdaten wörtlich wieder. Das Basismodell ist rohes Können; ein nützliches, ehrliches und hinreichend sicheres Produkt wird daraus erst durch eine zweite Trainingsstufe, von der die klassischen ML-Lehrbücher nichts wissen. Diese Stufe heißt Reinforcement Learning from Human Feedback (RLHF): 2017 von Christiano et al. formalisiert, berühmt geworden mit InstructGPT von OpenAI (2022) und ChatGPT (November 2022). Sie hat GPT-artige Modelle dialogfähig gemacht, hilfsbereit — und bereit, Nein zu sagen: eine kleine Maschinerie auf einer großen, die am Ende fast jede Verhaltenseigenschaft des ausgelieferten Systems bestimmt.

RLHF bringt einem Sprachmodell bei, ein gelerntes Belohnungssignal zu optimieren, das aus menschlichen Präferenzurteilen destilliert wird — in drei Stufen. Stufe 1, Supervised Fine-Tuning (SFT): Menschliche Auftragnehmer schreiben Musterantworten für das gewünschte Verhalten, das vortrainierte Basismodell wird darauf ganz gewöhnlich überwacht nachtrainiert. Stufe 2, Belohnungsmodellierung: Das SFT-Modell erzeugt zu jedem Prompt mehrere Antwortkandidaten, menschliche Bewerter ordnen sie paarweise, und ein eigenes Belohnungsmodell lernt, diese Präferenzen vorherzusagen. Stufe 3, RL-Fine-Tuning: Das SFT-Modell wird mit Proximal Policy Optimization (PPO) gegen das Belohnungsmodell optimiert, gebremst von einer KL-Strafe gegenüber dem SFT-Modell. Auf diese Bremse kommt es an: Ohne sie nutzt die Policy das Belohnungsmodell aus und produziert Unsinn, der Bestnoten einsammelt. Was RLHF wirklich verändert, sind Verweigerungsverhalten, Gesprächston, die Bereitschaft, Unsicherheit einzuräumen, Formatierung, Schmeichelei, Hilfsbereitschaft — die Obergrenze des Könnens setzt weitgehend das Pre-Training. Die Fehlermodi tragen eine eigene Handschrift: Reward Hacking, Sycophancy, Überverweigerung, Längen-Bias, Mode Collapse. Inzwischen gibt es Alternativen: Direct Preference Optimization (DPO; Rafailov et al. 2023) kommt ohne Belohnungsmodell aus und trainiert direkt auf den Präferenzdaten; Constitutional AI (Anthropic 2022) ersetzt einen Teil der menschlichen Urteile durch KI-Kritik an einer geschriebenen Verfassung (RLAIF); in Code-Modellen tritt Reward Shaping mit Ausführungs-Feedback an die Stelle des Belohnungsmodells — automatische Korrektheitsprüfungen statt gelernter Bewertung; und Process Reward Models benoten die einzelnen Denkschritte statt nur das Ergebnis.