Diffusionsmodelle (Diffusion Models)
Eine Architektur generativer Modelle (Stable Diffusion, Midjourney, FLUX), die auf den Prinzipien der Nichtgleichgewichtsthermodynamik basiert. Sie arbeitet in zwei Phasen: Vorwärtsdiffusion (schrittweises Hinzufügen von Rauschen zum Bild) und Rückwärtsdiffusion (schrittweise Entfernung des Rauschens zu einem klaren Bild basierend auf einer Textbeschreibung).
1. Überblick über das Konzept und den Zweck
Wenn man zum ersten Mal beobachtet, wie Midjourney oder FLUX aus einer Beschreibung wie „Mädchen in neonfarbenem Regenmantel im Regen in Tokio“ ein fotorealistisches Porträt generiert, wirkt es so, als würde das Modell einfach fertige Fragmente fremder Fotos aus Google ausschneiden und zusammenfügen.
Das ist ein weit verbreiteter Irrtum. KI schneidet nichts aus und fügt nichts zusammen.
Im Kern des modernen grafischen KI-Systems liegt ein fundamentales physikalisches Konzept – Diffusionsmodelle (Diffusion Models):
- Sie malen nicht mit dem Pinsel wie ein Künstler.
- Sie beginnen mit einer Leinwand, die vollständig mit zufälligem weißem Rauschen gefüllt ist (vergleichbar mit einem ungesicherten TV-Kanal ohne Antenne).
- Schritt für Schritt entfernt das Modell dieses Rauschen und lässt dabei vertraute Bilder hervortreten.
Der entscheidende ingenieurtechnische Grundsatz lautet: Wie ein Bildhauer, der einen formlosen Marmorblock nimmt und durch 25 Meißelschläge alles Überflüssige abschlägt, um eine schöne Statue freizulegen.
2. Der Prozess der Bildentstehung: Vom Rauschen zur Fotografie
Крок 0 (100% шум) ──> Крок 8 (Плями світла) ──> Крок 16 (Контури) ──> Крок 25 (Шедевр!)
┌─────────────────┐ ┌─────────────────┐ ┌─────────────────┐ ┌─────────────────┐
│ ░▒▓█░▒▓█░▒▓█░▒▓ │ │ ░▒ ████ ▒░ │ │ ╭─────╮ │ │ 👩🦰 │
│ ▓█░▒▓█░▒▓█░▒▓█░ │ ➔ │ ░▒ ████████ ▒░ │ ➔ │ │ ● ● │ │ ➔ │ Портрет дівчини│
│ ▒▓█░▒▓█░▒▓█░▒▓█ │ │ ░▒▒ ██ ▒▒░ │ │ ╰───╯ │ │ з неоновими │
│ █░▒▓█░▒▓█░▒▓█░▒ │ │ ▒▒ ▒▒ │ │ /│ │\ │ │ відблисками │
└─────────────────┘ └─────────────────┘ └─────────────────┘ └─────────────────┘
3. Warum der Text-Prompt das Rauschen steuert
Am Prozess der Rauschentfernung ist ein Textmodell beteiligt (ein Textencoder wie CLIP oder T5):
- Es „übersetzt“ Ihre Worte „Neonregen“ in mathematische Vektoren.
- Bei jedem der 25 Schritte prüft der Algorithmus diese Vektoren und stellt sich die Frage: „Wenn ich genau dieses Pixel Rauschen entferne, wird das Bild dann eher wie Neonlicht aussehen?“.
- Wenn ja, wird das Rauschen genau in dieser Richtung entfernt.
4. Praktische Schlussfolgerung
Das Verständnis der Diffusion hilft dabei, Generatoren besser zu konfigurieren:
- Zu wenige Schritte (z. B. 5 statt 20) führen zu einem unscharfen und unfertigen Bild.
- Zu viele Schritte (z. B. 100) erhöhen die Generierungszeit um das Vierfache, während die Qualität kaum verbessert wird.
- Der Goldstandard für die meisten Engines sind 20–30 Schritte (Steps).
FAQ: Diffusionsmodelle (Diffusion Models)
Verwandte Begriffe
Midjourney (Führende Plattform für künstlerisches Design)
Ein führender Closed-Source-Bildgenerator mit dem höchsten Niveau an künstlerischer Ästhetik. Branchenstandard für Designer, Filmemacher, Konzeptkünstler und Werbe-Kreative.
FLUX.1 (Der aktuelle König der fotorealistischen Bildgenerierung)
Führendes Bildgenerierungsmodell von Black Forest Labs (den Entwicklern von Stable Diffusion). Bekannt für makellosen Fotorealismus, perfekte Darstellung von Händen und Fingern sowie die Fähigkeit, klaren gedruckten Text zu rendern.
Latenter Raum (Latent Space)
Ein mehrdimensionaler mathematischer Vektorraum, der von einem neuronalen Netz zur internen Darstellung von Konzepten, Stilen und Bildern erzeugt wird. Er ermöglicht erstaunliche arithmetische Operationen mit Begriffen: So ergibt beispielsweise „König“ minus „Mann“ plus „Frau“ gleich „Königin“.