Atlas: O Primeiro Modelo de Mundo Multimodal da Startup de Fei-Fei Li

Atlas: O Primeiro Modelo de Mundo Multimodal da Startup de Fei-Fei Li

Conheça o Atlas – o primeiro modelo de mundo multimodal da história. Ele gera imagens e vídeos com controle de câmera ao nível de pixel e pode reconstruí-los em cenas 3D nos formatos explícitos de nuvem de pontos e splats gaussianos 3D. Além disso, foi treinado para simulações espaço-temporais.

Principais Recursos:

• Duração do Vídeo: Até 1 minuto em resolução 1440p.
• Imagens de Referência: Até 6.

Arquitetura

O Atlas emprega um transformer de difusão multimodal, essencialmente uma híbrida entre a arquitetura de LLM (com autorregressão + cache) e modelos de vídeo por difusão (para denoising), combinada ainda mais com a ideia de contexto espacial. Isso significa que cada elemento contextual possui uma anexação 3D explícita através da posição da câmera.

Benchmarks

Ele afirma superioridade sobre modelos especializados em gerações controladas por câmera (MiniMax, Gemini Omni Flash, FLUX, etc.) e em reconstrução 3D (Pi3X, VGGT, Depth Anything 3, etc.).

Aplicações

O motor é tão preciso que pode ser usado para treinar robôs. O Atlas pode construir uma cena 3D explícita a partir de vídeo, onde o movimento do robô pode ser simulado e treinado (isso é chamado de abordagem Real-to-Sim-to-Real). O modelo gera RGB e profundidade a partir da perspectiva das câmeras embarcadas no robô e pode até criar uma simulação onde a manipulação de objetos é possível.

Conclusão

Este lançamento é uma conquista impressionante no campo da IA e modelagem.