World Models: Die nächste Grenze der KI-Videogenerierung

Von Frames zu Welten

Traditionelle Videogenerierungsmodelle arbeiten wie hochentwickelte Daumenkino-Künstler. Sie prognostizieren, wie der nächste Frame basierend auf den vorherigen aussehen sollte, geleitet durch Ihre Texteingabe. Das Verfahren funktioniert, weist jedoch grundlegende Limitierungen auf.

World Models verfolgen einen anderen Ansatz. Anstatt zu fragen "wie sollte der nächste Frame aussehen?", fragen sie "wie verhält sich diese Umgebung?" Die Unterscheidung klingt subtil, verändert jedoch alles.

Wenn Sie einen Frame-Prädiktor anweisen, einen Ball zu generieren, der einen Hügel hinunterrollt, approximiert er basierend auf Trainingsdaten, wie das aussehen könnte. Wenn Sie einem World Model dasselbe vorgeben, simuliert es die Physik: Gravitation beschleunigt den Ball, Reibung mit dem Gras verlangsamt ihn, Momentum trägt ihn den gegenüberliegenden Hang hinauf.

Was Runways GWM-1 tatsächlich leistet

Runway veröffentlichte GWM-1 (General World Model 1) im Dezember 2025, was ihren ersten öffentlichen Schritt in Richtung Weltsimulation darstellt. Das Modell erschafft sogenannte "dynamische Simulationsumgebungen", Systeme, die nicht nur verstehen, wie Dinge erscheinen, sondern wie sie sich über die Zeit entwickeln.

Der Zeitpunkt ist relevant. Diese Veröffentlichung erfolgte parallel zu Gen-4.5, das Platz 1 auf Video Arena erreichte und OpenAI Sora 2 auf Platz 4 verdrängte. Diese Erfolge stehen in Zusammenhang. Die Verbesserungen von Gen-4.5 in physikalischer Genauigkeit, bei der Objekte mit realistischem Gewicht, Momentum und Kraft agieren, resultieren wahrscheinlich aus World-Model-Forschung, die die Architektur beeinflusst hat.

Warum dies grundlegend ist

1. Physik, die tatsächlich funktioniert

Aktuelle Videomodelle haben Schwierigkeiten mit Physik, da sie Physik lediglich beobachtet, nicht erfahren haben. Sie wissen, dass ein fallengelassenes Objekt fällt, approximieren jedoch die Trajektorie, anstatt sie zu berechnen. World Models kehren diese Beziehung um.

Dies erklärt, warum Sora 2s Physiksimulationen Eindruck hinterließen: OpenAI investierte erheblich in physikalisches Verständnis. World Models formalisieren diesen Ansatz.

2. Zeitliche Kohärenz ohne Tricks

Der größte Problembereich bei KI-Video war die Konsistenz über die Zeit. Charaktere ändern ihr Erscheinungsbild, Objekte teleportieren sich, Umgebungen verändern sich zufällig. Wir haben untersucht, wie Modelle lernen, Gesichter zu erinnern durch architektonische Innovationen wie Cross-Frame-Attention.

World Models bieten eine elegantere Lösung: Wenn die Simulation Entitäten als persistente Objekte in einem virtuellen Raum verfolgt, können sie sich nicht zufällig verändern oder verschwinden. Der Ball existiert in der simulierten Welt. Er besitzt Eigenschaften (Größe, Farbe, Position, Geschwindigkeit), die persistieren, bis etwas in der Simulation sie ändert.

3. Längere Videos werden möglich

Aktuelle Modelle degradieren über die Zeit. CraftStorys bidirektionale Diffusion ermöglicht 5-minütige Videos, indem spätere Frames frühere beeinflussen. World Models adressieren dasselbe Problem anders: Wenn die Simulation stabil ist, lässt sie sich beliebig lange ausführen.

Der Haken (es gibt immer einen)

World Models erscheinen als Lösung für jedes Videogenerierungsproblem. Das sind sie nicht, zumindest noch nicht.

Rechenaufwand

Die Simulation einer Welt ist ressourcenintensiv. Frame-Vorhersage läuft dank Projekten wie LTX-2 auf Consumer-GPUs. Weltsimulation erfordert Zustandsverwaltung, Objektverfolgung, Physikberechnungen. Dies erhöht die Hardwareanforderungen signifikant.

Weltregeln zu erlernen ist komplex

Einem Modell beizubringen, wie Dinge aussehen, ist direkt: Man zeigt ihm Millionen Beispiele. Einem Modell beizubringen, wie die Welt funktioniert, ist komplexer. Physik ist aus Videodaten erlernbar, jedoch nur begrenzt. Das Modell sieht, dass fallengelassene Objekte fallen, kann jedoch keine Gravitationskonstanten aus Footage ableiten.

Fragen zur kreativen Kontrolle

Wenn das Modell Physik simuliert, wer definiert welche Physik? Manchmal benötigen Sie realistische Gravitation. Manchmal sollen Ihre Charaktere schweben. World Models benötigen Mechanismen, um ihre Simulationen zu überschreiben, wenn Ersteller unrealistische Ergebnisse wünschen.

Wohin sich die Branche entwickelt

Runway ist nicht allein in dieser Richtung. Die Architekturpapiere hinter Diffusion Transformers deuteten diese Entwicklung seit Monaten an. Die Frage war immer wann, nicht ob.

Das Enterprise-Interesse ist aufschlussreich. Runway gewährte Ubisoft frühen Zugang, Disney investierte eine Milliarde Dollar mit OpenAI für Sora-Integration. Diese Unternehmen interessieren sich nicht für schnelle Social-Media-Clips. Sie benötigen KI, die Spielumgebungen simulieren, konsistente animierte Charaktere generieren und Content produzieren kann, der professioneller Prüfung standhält.

Was dies für Ersteller bedeutet

• ✓Video-Konsistenz wird sich dramatisch verbessern
• ✓Physik-intensive Inhalte werden realisierbar
• ✓Längere Generierungen ohne Qualitätsverlust
• ○Kosten werden initial höher sein als Frame-Vorhersage
• ○Mechanismen zur kreativen Kontrolle entwickeln sich noch

Wenn Sie heute KI-Video produzieren, sind World Models nichts, was Sie sofort adaptieren müssen. Sie sind jedoch beobachtenswert. Der Vergleich zwischen Sora 2, Runway und Veo 3, den wir früher dieses Jahr veröffentlichten, wird Aktualisierung benötigen, wenn World-Model-Fähigkeiten über diese Plattformen ausgerollt werden.

Für praktische Anwendung im Moment sind die Unterschiede für spezifische Use Cases relevant:

• Produktvisualisierung: World Models werden hier exzellieren. Präzise Physik für interagierende Objekte.
• Abstrakte Kunst: Frame-Vorhersage könnte tatsächlich vorzuziehen sein. Sie wünschen unerwartete visuelle Ausgaben, keine simulierte Realität.
• Charakteranimation: World Models plus identitätserhaltende Techniken könnten das Konsistenzproblem endgültig lösen.

Das größere Bild

World Models repräsentieren die Reifung von KI-Video. Frame-Vorhersage war ausreichend für kurze Clips, visuelle Kuriositäten, Proof-of-Concept-Demonstrationen. Weltsimulation ist erforderlich für professionelle Produktionsarbeit, bei der Content konsistent, physikalisch plausibel und erweiterbar sein muss.

Runways Überlegenheit gegenüber Google und OpenAI in Benchmarks mit einem 100-Personen-Team zeigt etwas Wichtiges: Der richtige architektonische Ansatz ist relevanter als Ressourcen. World Models könnten dieser Ansatz sein. Wenn Runways Wette aufgeht, werden sie die nächste Generation von Video-KI definiert haben.

Und wenn die Physiksimulationen ausreichend präzise werden? Wir generieren nicht mehr nur Video. Wir konstruieren virtuelle Welten, eine Simulation nach der anderen.