Dans la quête d'une intelligence artificielle capable de comprendre et d'anticiper la physique de son environnement, les "modèles du monde" (World Models) jouent un rôle central.
Par exemple Waymo, la filiale d'Alphabet, vient de dévoiler en février dernier son "Waymo World Model", une IA capable de simuler des situations de conduite avec un réalisme jamais atteint.
Mais leur entraînement requiert des ressources de calcul colossales et des astuces d'ingénierie très complexes.
Mais voici que la description d'une nouvelle architecture, nommée LeWorldModel (LeWM), vient bousculer ce paradigme. Et l'étude qui présente cette innovation est co-signée par Yann LeCun, qui vient justement de lever des sommes importantes pour développer une startup qui travaille sur ce thème.
Présentée comme la première architecture prédictive à plongement conjoint (JEPA - Joint Embedding Predictive Architectures) capable d'être entraînée de manière stable de bout en bout à partir de pixels bruts, LeWM promet de démocratiser l'accès à ces technologies.
Une rupture face aux modèles existants
Pour bien comprendre l'apport de LeWM, il faut le comparer aux deux grandes familles d'approches actuelles pour concevoir des modèles du monde :
Les modèles spécifiques à une tâche (comme Dreamer ou TD-MPC)
Ces modèles sont souvent très coûteux en calcul car ils tentent de reconstruire visuellement l'environnement pixel par pixel, ou nécessitent des signaux de récompense explicites pour fonctionner.
À l'inverse, LeWM est agnostique à la tâche, fonctionne sans récompense (non supervisé) et s'affranchit de la lourde tâche de reconstruction d'image.
Les modèles de fondation (comme DINO-WM) et les JEPA traditionnels
Pour éviter "l'effondrement des représentations" (quand le modèle prédit la même chose pour tout), les méthodes actuelles gèlent un énorme encodeur visuel pré-entraîné (DINO-WM), limitant ainsi la capacité du modèle à s'adapter spécifiquement aux dynamiques de son nouvel environnement.
D'autres, comme l'approche PLDM, tentent un apprentissage de bout en bout mais utilisent une fonction de perte extrêmement complexe à sept termes et six hyperparamètres, causant une grande instabilité.
LeWM : une élégance mathématique inédite
LeWM résout ces problèmes avec une élégance mathématique inédite : il n'utilise aucune heuristique complexe (comme les moyennes mobiles exponentielles ou les arrêts de gradient).
Il repose sur un objectif simple à seulement deux termes :
- Une perte de prédiction classique
- Un régulariseur mathématique appelé SIGReg, qui force les données à suivre une distribution gaussienne
Cette simplification réduit le nombre d'hyperparamètres à régler d'une demi-douzaine à un seul, garantissant un entraînement stable.
Le secret de sa performance : compacité et réduction drastique des tokens
Mais la véritable prouesse de LeWM réside dans ses performances matérielles. L'étude démontre que LeWM permet une planification jusqu'à 48 fois plus rapide que les modèles de fondation actuels comme DINO-WM, tout en étant entraînable en quelques heures sur un GPU.
Et cette efficacité (avec des cycles de planification s'exécutant en moins d'une seconde) repose sur plusieurs choix d'architecture radicaux :
Une taille ultra-compacte
Le modèle complet ne pèse que 15 millions de paramètres.
Il est composé:
- D'un encodeur d'images très léger (un Vision Transformer "tiny" d'environ 5 millions de paramètres)
- D'un prédicteur d'environ 10 millions de paramètres
Une compression massive de l'information
La vitesse de planification s'explique principalement par le fait que LeWM encode les observations en utilisant environ 200 fois moins de tokens que DINO-WM.
Et en réduisant drastiquement le nombre de tokens nécessaires pour représenter une image, le modèle diminue de manière exponentielle les coûts de calcul lors des simulations de planification.
Une optimisation fluide
En apprenant directement depuis les pixels bruts avec sa fonction de perte à deux termes (SIGReg), l'architecture très allégée permet une convergence rapide sans avoir à lutter contre les instabilités des modèles concurrents.
Des limites en dehors de la complexité
Malgré ces résultats impressionnants sur de nombreuses tâches de robotique et de manipulation 2D/3D, l'approche montre ses limites dans des environnements de simulation basiques (comme l'environnement de navigation Two-Room).
Dans ces espaces à très faible diversité, la régularisation SIGReg peine à imposer sa distribution gaussienne en haute dimension, ce qui déstabilise légèrement la représentation.
Mais des perspectives importantes
Il n'en demeure pas moins que LeWorldModel marque une étape cruciale.
En prouvant qu'il n'est plus nécessaire de s'appuyer sur des modèles de fondation gigantesques et gourmands en ressources pour comprendre la physique du monde, cette recherche ouvre la voie à des systèmes d'IA embarqués, capables de planifier leurs actions en temps réel de manière autonome et très économe en énergie.