Models del món: La propera frontera en generació de vídeo amb IA

De fotogrames a mons

Els models tradicionals de generació de vídeo funcionen com sofisticats artistes de flip-book. Prediu com hauria de ser el següent fotograma basant-se en els anteriors, guiats pel teu prompt de text. Funciona, però té limitacions fonamentals.

Els models del món prenen un enfocament diferent. En lloc de preguntar "com hauria de ser el següent fotograma?", pregunten "com es comporta aquest entorn?" La distinció sona subtil, però ho canvia tot.

Quan dius a un predictor de fotogrames que generi una pilota rodant per un turó, aproxima com podria ser això basant-se en dades d'entrenament. Quan dius al model del món el mateix, simula la física: la gravetat accelera la pilota, la fricció amb l'herba la frena, l'impuls la porta amunt del pendent oposat.

Què fa realment el GWM-1 de Runway

Runway va llançar GWM-1 (General World Model 1) al desembre de 2025, i representa el seu primer pas públic cap a la simulació de mons. El model crea el que anomenen "entorns de simulació dinàmica", sistemes que entenen no només com es veuen les coses sinó com evolucionen al llarg del temps.

El timing importa. Aquest llançament va arribar juntament amb Gen-4.5 arribant al #1 a Video Arena, empenyent OpenAI Sora 2 a la 4a posició. Aquests no són assoliments no relacionats. Les millores de Gen-4.5 en precisió física, on els objectes es mouen amb pes, impuls i força realistes, probablement provenen de la investigació de models del món informant la seva arquitectura.

Per què això ho canvia tot

1. Física que realment funciona

Els models actuals de vídeo tenen dificultats amb la física perquè només han vist física, mai l'han experimentat. Saben que un objecte deixat cau, però aproximen la trajectòria en lloc de calcular-la. Els models del món inverteixen aquesta relació.

Per això les simulacions de física de Sora 2 van impressionar la gent: OpenAI va invertir molt en comprensió física. Els models del món formalitzen aquest enfocament.

2. Coherència temporal sense trucs

El punt de dolor més gran en vídeo amb IA ha estat la consistència al llarg del temps. Els personatges canvien d'aparença, els objectes es teletransporten, els entorns canvien aleatòriament. Hem explorat com els models estan aprenent a recordar cares mitjançant innovacions arquitectòniques com l'atenció entre fotogrames.

Els models del món ofereixen una solució més elegant: si la simulació segueix entitats com objectes persistents en un espai virtual, no poden canviar aleatòriament o desaparèixer. La pilota existeix al món simulat. Té propietats (mida, color, posició, velocitat) que persisteixen fins que alguna cosa a la simulació les canvia.

3. Els vídeos més llargs es fan possibles

Els models actuals es degraden al llarg del temps. La difusió bidireccional de CraftStory empeny cap a vídeos de 5 minuts permetent que fotogrames posteriors influencien els anteriors. Els models del món aborden el mateix problema de manera diferent: si la simulació és estable, pots executar-la tant de temps com vulguis.

L'inconvenient (sempre hi ha un inconvenient)

Els models del món sonen com la solució a cada problema de generació de vídeo. No ho són, almenys encara no.

Cost computacional

Simular un món és costós. La predicció de fotogrames pot executar-se en GPU de consumidor gràcies al treball de projectes com LTX-2. La simulació de mons requereix mantenir l'estat, seguir objectes, executar càlculs de física. Això empeny els requisits de maquinari significativament.

Aprendre regles del món és difícil

Ensenyar a un model com es veuen les coses és directe: mostra-li milions d'exemples. Ensenyar a un model com funciona el món és més obscur. La física es pot aprendre de dades de vídeo, però només fins a cert punt. El model veu que els objectes deixats cauen, però no pot derivar constants gravitacionals de mirar metratge.

Qüestions de control creatiu

Si el model està simulant física, qui decideix quina física? De vegades vols gravetat realista. De vegades vols que els teus personatges floten. Els models del món necessiten mecanismes per anul·lar les seves simulacions quan els creadors volen resultats poc realistes.

Cap on va la indústria

Runway no està sol en aquesta direcció. Els documents d'arquitectura darrere dels transformadors de difusió han estat suggerint aquest canvi durant mesos. La qüestió sempre va ser quan, no si.

L'interès empresarial és revelador. Runway va donar accés primerenc a Ubisoft, Disney ha invertit mil milions de dòlars amb OpenAI per a la integració de Sora. Aquestes no són empreses interessades en generar clips ràpids de xarxes socials. Volen IA que pugui simular entorns de joc, generar personatges animats consistents, produir contingut que aguanti l'escrutini professional.

Què significa això per als creadors

• ✓La consistència de vídeo millorarà dràsticament
• ✓El contingut pesat en física es fa viable
• ✓Generacions més llargues sense col·lapse de qualitat
• ○Els costos seran inicialment més alts que la predicció de fotogrames
• ○Els mecanismes de control creatiu encara estan evolucionant

Si estàs produint vídeo amb IA avui, els models del món no són alguna cosa que necessitis adoptar immediatament. Però són alguna cosa a vigilar. La comparació entre Sora 2, Runway i Veo 3 que vam publicar abans aquest any necessitarà actualització a mesura que les capacitats del model del món es despleguin a través d'aquestes plataformes.

Per a ús pràctic ara mateix, les diferències importen per a casos d'ús específics:

• Visualització de productes: Els models del món destacaran aquí. Física precisa per a objectes interactuant entre ells.
• Art abstracte: La predicció de fotogrames podria ser preferible. Vols sortides visuals inesperades, no realitat simulada.
• Animació de personatges: Models del món més tècniques de preservació d'identitat podrien finalment resoldre el problema de consistència.

La imatge més gran

Els models del món representen el vídeo amb IA madurant. La predicció de fotogrames era suficient per generar clips curts, novetats visuals, demostracions de prova de concepte. La simulació de mons és el que necessites per a treball de producció real, on el contingut ha de ser consistent, físicament plausible i extensible.

Runway superant Google i OpenAI en benchmarks amb un equip de 100 persones ens diu alguna cosa important: l'enfocament arquitectònic correcte importa més que els recursos. Els models del món podrien ser aquest enfocament. Si l'aposta de Runway té èxit, hauran definit la propera generació de vídeo amb IA.

I si les simulacions de física es fan prou bones? Ja no estem només generant vídeo. Estem construint mons virtuals, una simulació cada vegada.