Atlas : Le premier modèle de monde multimodal lancé par la startup de Fei-Fei Li

Atlas : Le premier modèle de monde multimodal lancé par la startup de Fei-Fei Li

Découvrez Atlas – le premier modèle de monde multimodal de l'histoire. Il génère des images et des vidéos avec un contrôle caméra au niveau du pixel et peut les reconstruire en scènes 3D sous forme de nuages de points explicites et de splats gaussiens 3D. Il est également entraîné pour des simulations spatio-temporelles.

Caractéristiques clés :

• Durée vidéo : Jusqu'à 1 minute en 1440p.
• Images de référence : Jusqu'à 6.

Architecture

Atlas utilise un transformateur à diffusion multimodale, essentiellement une hybridation entre l'architecture LLM (avec autorégression + mise en cache) et les modèles vidéo à diffusion (pour le débruitage), combinée à l'idée de contexte spatial. Cela signifie que chaque élément contextuel possède une attache 3D explicite via la position de la caméra.

Benchmarks

Il revendique une supériorité sur les modèles spécialisés dans la génération contrôlée par caméra (MiniMax, Gemini Omni Flash, FLUX, etc.) et dans la reconstruction 3D (Pi3X, VGGT, Depth Anything 3, etc.).

Applications

Le moteur est si précis qu'il peut être utilisé pour entraîner des robots. Atlas peut construire une scène 3D explicite à partir d'une vidéo, où les mouvements du robot peuvent être simulés et entraînés (c'est ce qu'on appelle l'approche Real-to-Sim-to-Real). Le modèle génère des données RGB et de profondeur depuis la perspective des caméras embarquées du robot et peut même créer une simulation permettant la manipulation d'objets.

Conclusion

Cette sortie constitue une réalisation impressionnante dans le domaine de l'IA et de la modélisation.