Modelos de lenguaje de video: La próxima frontera tras los LLM y los agentes de IA

Hemos pasado los últimos años enseñando a la IA a leer, escribir e incluso razonar sobre problemas complejos. Pero hay un detalle: todo eso sucede en el ámbito digital. ChatGPT puede escribirte un poema sobre caminar por un bosque, pero no tiene ni idea de lo que realmente se siente al pasar por encima de un tronco caído o agacharse bajo una rama baja.

Los modelos de mundo han llegado para cambiar eso.

¿Qué son los modelos de lenguaje de video?

Piénsalo como la evolución de los modelos de visión y lenguaje, pero con una adición crucial: la comprensión temporal. Mientras que un VLM estándar observa una sola imagen y responde preguntas sobre ella, un modelo de lenguaje de video observa cómo se desenvuelven las secuencias y aprende las reglas que gobiernan la realidad física.

Esto no es solo curiosidad académica. Las implicaciones prácticas son asombrosas.

Cuando un robot necesita levantar una taza de café, no puede limitarse a reconocer "taza" en una imagen. Necesita entender:

• ✓Cómo se comportan los objetos cuando se empujan o se levantan
• ✓Qué sucede cuando los líquidos se agitan
• ✓Cómo afectan sus propios movimientos a la escena
• ✓Qué acciones son físicamente posibles versus imposibles

Aquí es donde entran en juego los modelos de mundo.

De la simulación a la acción

El concepto es elegante: en lugar de codificar reglas físicas de forma rígida, se entrena a la IA con millones de horas de video que muestran cómo funciona realmente el mundo. El modelo aprende sobre la gravedad, la fricción, la permanencia de los objetos y la causalidad no a partir de ecuaciones, sino a través de la observación.

Cosmos de NVIDIA representa uno de los intentos más ambiciosos en este sentido. Su modelo de mundo propietario está diseñado específicamente para aplicaciones de robótica, donde comprender la realidad física no es opcional: es una cuestión de supervivencia.

Genie 3 de Google DeepMind adopta un enfoque diferente, centrándose en la generación interactiva de mundos donde se puede "jugar" con el modelo como si fuera un entorno de videojuego.

El experimento PAN

Investigadores de la Universidad de Inteligencia Artificial Mohamed bin Zayed presentaron recientemente PAN, un modelo de mundo general que realiza lo que denominan "experimentos mentales" en simulaciones controladas.

La innovación clave radica en tratar el modelado del mundo como un problema de video generativo. En lugar de programar la física de forma explícita, el modelo aprende a generar continuaciones de video que respetan las leyes físicas. Al recibir una escena inicial y una acción propuesta, puede "imaginar" lo que sucede a continuación.

Esto tiene profundas implicaciones para la robótica. Antes de que un robot humanoide intente alcanzar esa taza de café, puede realizar cientos de intentos simulados, aprendiendo qué ángulos de aproximación funcionan y cuáles terminan con el café en el suelo.

El futuro con mil millones de robots

Estos no son números arbitrarios elegidos para causar impacto dramático. Las proyecciones de la industria apuntan genuinamente a un futuro en el que los robots humanoides serán tan comunes como los teléfonos inteligentes. Y cada uno de ellos necesitará modelos de mundo para funcionar de forma segura junto a los humanos.

Las aplicaciones van más allá de los robots humanoides:

Donde la generación de video se encuentra con la comprensión del mundo

Si has estado siguiendo la generación de video con IA, es posible que notes cierta superposición. Herramientas como Sora 2 y Veo 3 ya generan videos sorprendentemente realistas. ¿No son también modelos de mundo?

Sí y no.

OpenAI ha posicionado a Sora de manera explícita indicando que cuenta con capacidades de simulación del mundo. El modelo claramente entiende aspectos de la física. Mira cualquier generación de Sora y verás una iluminación realista, un movimiento plausible y objetos que se comportan en su mayoría de forma correcta.

Sin embargo, existe una diferencia crucial entre generar un video de aspecto plausible y comprender realmente la causalidad física. Los generadores de video actuales están optimizados para el realismo visual. Los modelos de mundo están optimizados para la precisión predictiva.

El problema de las alucinaciones

Esta es la verdad incómoda: los modelos de mundo sufren los mismos problemas de alucinación que aquejan a los LLM.

Cuando ChatGPT afirma con total seguridad un dato falso, es molesto. Cuando un modelo de mundo predice con seguridad que un robot puede atravesar una pared, es peligroso.

Los sistemas actuales se degradan en secuencias más largas, perdiendo coherencia a medida que se proyectan más hacia el futuro. Esto crea una tensión fundamental: las predicciones más útiles son las de largo plazo, pero también son las menos fiables.

Los investigadores están abordando este problema desde múltiples ángulos. Algunos se centran en obtener mejores datos de entrenamiento. Otros trabajan en innovaciones arquitectónicas que mantengan la consistencia de la escena. Y otros abogan por enfoques híbridos que combinen modelos de mundo aprendidos con restricciones físicas explícitas.

El avance de Qwen 3-VL

En el campo de visión y lenguaje, Qwen 3-VL de Alibaba representa el estado del arte actual para modelos de código abierto.

Lo que hace que Qwen 3-VL sea particularmente interesante son sus capacidades "agénticas". El modelo puede operar interfaces gráficas, reconocer elementos de la interfaz de usuario, entender sus funciones y realizar tareas del mundo real mediante la invocación de herramientas.

Este es el puente entre la comprensión y la acción que los modelos de mundo necesitan.

Por qué esto importa a los creadores

Si eres un creador de video, cineasta o animador, los modelos de mundo pueden parecer alejados de tu trabajo diario. Sin embargo, las implicaciones están más cerca de lo que piensas.

Los síntomas que ya reconoces

Las herramientas actuales de video con IA sufren con la consistencia física, y los fallos tienen una causa común:

• Los objetos se solapan y atraviesan entre sí, porque nada en el modelo representa un objeto como algo que ocupa espacio.
• La gravedad se comporta de forma inconsistente entre tomas, porque cada toma se muestrea de forma independiente.
• La causa y el efecto se confunden, porque el modelo está prediciendo cómo se ve un fotograma en lugar de lo que sucede a continuación.

Todos estos son síntomas de modelos que pueden generar píxeles realistas pero que no comprenden verdaderamente las reglas físicas subyacentes a lo que están representando.

Lo que cambia un modelo de mundo

Un modelo de mundo es un sistema que mantiene una representación de la propia escena, no solo del último fotograma. Esa distinción es la que permite que un objeto permanezca donde estaba cuando la cámara se aleja y regresa.

Los modelos de mundo entrenados con conjuntos masivos de datos de video podrían eventualmente retroalimentar la generación de video, produciendo herramientas de IA que respeten inherentemente las leyes físicas. Imagina un generador de video en el que no necesites incluir en el prompt "física realista" porque el modelo ya sabe cómo funciona la realidad.

Qué significa esto para tu próximo proyecto

Nada de lo aquí expuesto está disponible hoy como un producto final, y de ahí se deriva una recomendación honesta.

• Si vas a publicar video este trimestre: ignora por completo los modelos de mundo y elige en función de los criterios que existen ahora, como la duración de la toma, la consistencia de la identidad y el costo por segundo. Un modelo que razone sobre física no está en la lista de opciones, porque no existe ninguno comercial aún.
• Si estás planificando un flujo de trabajo para el próximo año: el criterio a observar es si un generador mantiene estable un objeto cuando sale del encuadre y vuelve a entrar. Esa sola prueba separa a un modelo de mundo de un predictor de fotogramas muy bueno, y puedes realizarla en cualquier herramienta en aproximadamente un minuto.
• Si estás eligiendo qué aprender: la habilidad transferible es la planificación de tomas en función de los límites del modelo en lugar de la formulación del prompt, porque los límites cambian lentamente y la redacción de prompts cambia con cada versión.

La afirmación de la que hay que dudar es la de cualquier herramienta que promocione comprensión física sin mostrar una toma continua sin cortes. Esa demostración es económica de producir, por lo que su ausencia en un lanzamiento es algo digno de notar.

El camino a seguir

Los modelos de mundo representan quizás la meta más ambiciosa de la IA: enseñar a las máquinas a comprender la realidad física de la misma manera que lo hacen los humanos. No mediante programación explícita, sino a través de la observación, la inferencia y la imaginación.

Todavía estamos en una etapa temprana. Los sistemas actuales son demostraciones impresionantes, no soluciones listas para producción. Pero la trayectoria es clara.

Las empresas que están invirtiendo fuertemente en este espacio (NVIDIA, Google DeepMind, OpenAI y numerosas empresas emergentes) apuestan a que la inteligencia física es la próxima frontera tras la inteligencia digital.

Teniendo en cuenta lo transformadores que han sido los LLM para el trabajo basado en texto, imagina el impacto cuando la IA pueda entender e interactuar con el mundo físico con la misma fluidez.

Esa es la promesa de los modelos de lenguaje de video. Por eso es importante esta frontera.

---

Fuentes

• Morgan Stanley: Se proyecta que la población global de robots humanoides se aproxime a los mil millones para 2050 (Morgan Stanley)