Atlas: первая мультимодальная world model от стартапа Фей-Фей Ли

Atlas: первая мультимодальная world model от стартапа Фей-Фей Ли

Встречаете Atlas – первую в истории мультимодальную world model. Она генерирует изображения и видео с контролем камеры на уровне пикселей и может реконструировать их в 3D-сцены в явном формате point cloud и 3D Gaussian splats. Также обучена Space-time симуляции.

Основные характеристики:

• Длительность видео: до 1 минуты в 1440p.
• Кількість референсних зображень: до 6.

Архитектура

Atlas использует мультимодальный дифузионный трансформер, который является гибридом LLM-архитектуры (авторегрессия + кеширование) и дифузионных видеомоделей (денойзинг), объединенных с идеей пространственного контекста. Это означает, что каждый элемент контекста имеет явную 3D-привязку через позицию камеры.

Бенчмарки

По заявкам, Atlas превосходит специализированные модели в генерациях с контролем камеры (MiniMax, Gemini Omni Flash, FLUX и др.) и в 3D-реконструкции (Pi3X, VGGT, Depth Anything 3 и др.).

Использование

Движок настолько точный, что на нем можно обучать роботов. Atlas может по видео построить явную 3D-сцену, в которой можно симулировать движение робота и обучать его (Real-to-Sim-to-Real подход). Модель генерирует RGB и depth именно с точки зрения бортовых камер робота и может даже построить симуляцию, в которой возможна манипуляция объектами.

Заключение

Этот релиз является впечатляющим достижением в сфере AI и моделирования.