Au-delà des vidéos, les mondes numériques: pourquoi les jeux vidéo et la robotique sont les véritables épreuves pour l'AGI

Quand Yann LeCun a annoncé son départ de Meta pour lancer AMI Labs avec 500 millions d'euros de financement, il a articulé ce que beaucoup de chercheurs croyaient silencieusement depuis des années. Les grands modèles de langage, malgré toutes leurs capacités impressionnantes, représentent une impasse sur le chemin vers l'intelligence générale artificielle. Ils prédisent des tokens sans comprendre la réalité.

L'alternative? Les modèles de monde. Des systèmes qui apprennent à simuler le fonctionnement du monde physique.

La limitation fondamentale des modèles de langage

Les modèles de langage excellents dans l'appariement de motifs dans le texte. Ils peuvent écrire de la poésie, déboguer du code et tenir des conversations qui semblent remarquablement humaines. Mais demandez à GPT-4 de prédire ce qui se passe quand vous laissez tomber une balle, et il s'appuie sur des descriptions mémorisées plutôt que sur une véritable intuition physique.

C'est important parce que l'intelligence, comme nous l'expérimentons dans le monde biologique, est fondamentalement ancrée dans la réalité physique. Un enfant qui apprend à empiler des blocs développe une compréhension intuitive de la gravité, de l'équilibre et des propriétés des matériaux bien avant d'apprendre la langue. Cette cognition incarnée, ce sens du fonctionnement du monde, représente précisément ce que les systèmes d'IA actuels ne possèdent pas.

Les modèles de monde visent à combler cette lacune. Au lieu de prédire le prochain token, ils prédisent la prochaine image, le prochain état physique, la prochaine conséquence d'une action.

Trois approches pour comprendre le monde

La course pour construire une IA capable de comprendre le monde s'est divisée en trois paradigmes distincts, chacun avec des forces différentes.

La troisième approche, et peut-être la plus prometteuse, combine les deux: apprendre la dynamique du monde à partir de vidéos tout en maintenant la capacité à interagir avec l'environnement et à le manipuler. C'est là que les jeux vidéo deviennent essentiels.

Les jeux vidéo: le terrain d'entraînement parfait

Les jeux vidéo offrent quelque chose d'unique: des environnements interactifs avec des règles de physique cohérentes, une variation infinie et des métriques de succès claires. Contrairement à la robotique du monde réel, qui nécessite du matériel coûteux et présente des préoccupations de sécurité, les jeux offrent un échec illimité sans conséquence.

DeepMind a reconnu ce potentiel tôt. Leur système Genie peut générer des environnements jouables entièrement nouveaux à partir d'une seule image. Donnez-lui un croquis d'un niveau de plateforme, et il crée un monde avec une physique cohérente où les personnages peuvent sauter, tomber et interagir avec les objets de manière appropriée.

Ce qui rend Genie remarquable, ce n'est pas seulement la génération mais la compréhension. Le système apprend des concepts de physique généralisables qui se transfèrent entre différents styles visuels et types de jeux. Un modèle entraîné sur des jeux de plateforme style Mario développe une intuition sur la gravité et les collisions qui s'appliquent également aux jeux indépendants dessinés à la main et aux environnements 3D réalistes.

Des jeux aux robots

Le pipeline des jeux à la robotique n'est pas théorique. Les entreprises l'utilisent déjà.

L'idée qui conduit cette transition est simple: la physique est la physique. Un modèle qui comprend vraiment comment les objets tombent, glissent et entrent en collision dans un jeu vidéo devrait, avec l'adaptation appropriée, comprendre les mêmes principes dans le monde réel. L'apparence visuelle change, mais la dynamique sous-jacente reste constante.

Tesla a poursuivi une version de cette stratégie avec ses robots Optimus, en s'entraînant d'abord en simulation avant de déployer dans des environnements d'usine contrôlés. Le facteur limitant a toujours été l'écart entre la physique simulée et réelle. Les modèles de monde entraînés sur des données vidéo diversifiées pourraient enfin combler cet écart.

Le pari d'AMI Labs

La nouvelle entreprise de Yann LeCun, AMI Labs, représente le plus grand investissement unique dans la recherche sur les modèles de monde à ce jour. Avec 500 millions d'euros de financement européen et une équipe recrutée chez Meta, DeepMind et dans des laboratoires académiques, ils poursuivent ce que LeCun appelle l'IA orientée par objectifs.

La fondation technique repose sur l'architecture d'intégration jointe prédictive (JEPA), un cadre que LeCun défend depuis des années. Plutôt que de générer des prédictions au niveau des pixels, ce qui nécessite des ressources informatiques énormes, JEPA apprend les représentations abstraites qui capturent la structure essentielle des systèmes physiques.

Pensez-y comme ceci: un humain regardant une balle rouler vers une falaise ne simule pas chaque pixel de la trajectoire. Au lieu de cela, nous reconnaissons la situation abstraite (balle, bord, gravité) et prédisons le résultat (chute). JEPA vise à capturer ce raisonnement efficace et abstrait.

Implications pour la génération vidéo IA

Cette trajectoire de recherche a une importance profonde pour les applications créatives. Les générateurs vidéo IA actuels produisent des résultats impressionnants mais souffrent d'incohérence temporelle. Les personnages se transforment, la physique se brise, les objets apparaissent et disparaissent.

Les modèles de monde offrent une solution potentielle. Un générateur qui comprend vraiment la physique devrait produire des vidéos où les objets obéissent à des règles cohérentes, où les objets tombés chutent de façon prévisible, où les réflexions se comportent correctement.

Nous voyons déjà les signes précoces de cette transition. Le GWM-1 de Runway représente leur pari sur les modèles de monde, et la simulation de physique améliorée de Veo 3.1 suggère que Google incorpore des principes similaires.

La connexion à l'AGI

Pourquoi tout cela importe-t-il pour l'intelligence générale artificielle? Parce que la véritable intelligence nécessite bien plus que la manipulation du langage. Elle nécessite de comprendre la cause et l'effet, de prédire les conséquences et de planifier les actions dans un monde physique.

Les chercheurs qui pilotent ce travail sont prudents pour ne pas affirmer qu'ils construisent l'AGI. Mais ils argumentent de façon convaincante que sans la compréhension du monde, nous ne pouvons pas construire des systèmes qui pensent vraiment plutôt que de simplement autocompléter.

Ce qui vient ensuite

Les deux prochaines années seront critiques. Plusieurs développements à surveiller:

• ○Les premières démonstrations publiques d'AMI Labs (attendues mi-2026)
• ○L'intégration des modèles de monde dans les grands générateurs vidéo
• ○Les compagnies de moteurs de jeux (Unity, Unreal) ajoutant des APIs de modèles de monde
• ○Les premiers robots de consommation utilisant des modèles de monde entraînés sur les jeux

Le marché des jeux vidéo, projeté dépasser 500 milliards de dollars d'ici 2030, représente un terrain fertile pour le déploiement des modèles de monde. Les investisseurs voient les modèles de monde non seulement comme des curiosités de recherche mais comme une technologie fondatrice pour le divertissement interactif, la simulation et la robotique.

La révolution silencieuse

Contrairement au battage médiatique explosif autour de ChatGPT, la révolution des modèles de monde se déploie discrètement dans les laboratoires de recherche et les studios de jeux. Il n'y a pas de démos virales, pas de cycles d'actualité quotidiens sur le dernier percée.

Mais les implications pourraient être plus profondes. Les modèles de langage ont changé comment nous interagissons avec le texte. Les modèles de monde pourraient changer comment l'IA interagit avec la réalité.

Pour ceux d'entre nous qui travaillons dans la génération vidéo IA, cette recherche représente à la fois une menace et une opportunité. Nos outils actuels pourraient sembler primitifs rétrospectivement, comme les premiers effets spéciaux informatiques comparés aux effets visuels modernes. Mais le principe sous-jacent, générer du contenu visuel par le biais de modèles appris, ne deviendra que plus puissant à mesure que ces modèles commenceront à comprendre véritablement les mondes qu'ils créent.

Le chemin de la physique des jeux vidéo à l'intelligence générale artificielle peut sembler sinueux. Mais l'intelligence, partout où nous la trouvons, émerge de systèmes qui comprennent leur environnement et peuvent prédire les conséquences de leurs actions. Les jeux nous donnent un espace sûr pour construire et tester de tels systèmes. Les robots, les outils créatifs et peut-être la compréhension machine véritables suivront.