Diffusionsmodelle

Der Vorschlag kam 2015 aus Stanford, aus einer Arbeit, die fast niemand las, und er war der Physik abgeschaut — paradox genug: Wer ein Modell will, das Bilder erschafft, soll zuerst eines zerstören. Man nimmt ein Foto, legt eine Spur zufälliges Rauschen darüber, dann noch eine, wieder und wieder, tausendfach, bis nichts mehr da ist als Rauschen — und trainiert dann ein neuronales Netz darauf, den Vorgang rückwärts zu durchlaufen und in jedem Schritt eine Spur Rauschen zu entfernen. Gelingt das gut genug, beginnt man bei reinem Rauschen und sieht zu, wie sich aus dem Flimmern ein stimmiges Bild schält — eine Fotografie, die sich rückwärts entwickelt. Fünf Jahre lag die Idee unbeachtet. 2022 dann, verfeinert und hochskaliert, trieb sie Stable Diffusion, DALL·E und Midjourney an — und das Bildermachen war mit einem Mal nicht wiederzuerkennen.

Die Eleganz des Verfahrens liegt darin, wie wenig das Modell überhaupt lernen muss. Der Hinweg — einem Bild Schritt für Schritt Rauschen hinzufügen, bis es in Rauschen aufgegangen ist — steht von vornherein fest; da ist nichts zu trainieren, nur ein kontrolliertes Abgleiten ins Zufällige. Gelernt wird allein die Umkehrung eines einzigen kleinen Schritts: Zu einem leicht verrauschten Bild soll das Netz schätzen, welches Rauschen gerade hinzugekommen ist — damit es sich wieder abziehen lässt. Entsprechend schlicht ist das Training: ein Bild um einen zufälligen Betrag verfälschen, das Netz das Rauschen benennen lassen, es in Richtung der richtigen Antwort stupsen, und das über Millionen von Bildern wiederholen. Kein Gegenspieler will ausbalanciert sein, nichts von der Instabilität, die die vorige Generation der Bildmodelle so launisch machte — die Aufgabe ist geduldiges Entrauschen, sonst nichts. Etwas Neues entsteht, indem man diese kleinen Rückwärtsschritte aneinanderhängt, von reinem Rauschen ganz hinunter bis zum sauberen Bild. Und steuern lässt sich der Weg: Eine mitgegebene Textbeschreibung kippt jeden Entrauschungsschritt in Richtung jener Bilder, die zu den Worten passen — so wird aus einem getippten Prompt eine Szene. Das Erstaunliche daran: Nichts davon ist bloß eine lose Analogie zur Physik, es ist dieselbe Mathematik. Das Verrauschen auf dem Hinweg ist buchstäblich ein Diffusionsprozess — dieselben Gleichungen, die beschreiben, wie ein Tropfen Tinte sich im Wasser ausbreitet oder Wärme durch Metall wandert —, und das Netz lernt, genau diese Diffusion rückwärts laufen zu lassen. Ein Verfahren, geradewegs der Thermodynamik des neunzehnten Jahrhunderts entnommen, hat sich als das mächtigste bislang gefundene Mittel erwiesen, aus nichts als Rauschen Bilder heraufzubeschwören — und zunehmend auch Video, Klang und die gefalteten Gestalten von Proteinen.