Atlas: перша мультимодальна world model від стартапу Фей-Фей Лі
Atlas — це нова мультимодальна world model, яка генерує зображення та відео з контролем камери на рівні пікселів і може реконструювати їх у 3D-сцени.
Atlas: перша мультимодальна world model від стартапу Фей-Фей Лі
Вітаємо Atlas – першу в історії мультимодальну world model. Вона генерує зображення і відео з контролем камери на рівні пікселів і може реконструювати їх у 3D-сцени в явному форматі point cloud і 3D Gaussian splats. Також навчена Space-time симуляції.
Основні характеристики:
- Длительность відео: до 1 хвилини в 1440p.
- Кількість референсних зображень: до 6.
Архітектура
Atlas використовує мультимодальний дифузійний трансформер, який є гібридом LLM-архітектури (авторегресія + кешування) та дифузійних відеомоделей (денойзинг), об'єднаних з ідеєю просторового контексту. Це означає, що кожен елемент контексту має явну 3D-прив'язку через позицію камери.
Бенчмарки
За заявами, Atlas перевершує спеціалізовані моделі в генераціях з контролем камери (MiniMax, Gemini Omni Flash, FLUX та ін.) і в 3D-реконструкції (Pi3X, VGGT, Depth Anything 3 та ін.).
Використання
Движок настільки точний, що на ньому можна навчати роботів. Atlas може за відео побудувати явну 3D-сцену, в якій можна симулювати рух робота і навчати його (Real-to-Sim-to-Real підхід). Модель генерує RGB і depth з точки зору бортових камер робота і може навіть побудувати симуляцію, в якій можливе маніпулювання об'єктами.
Висновок
Цей реліз є вражаючим досягненням у сфері AI та моделювання.
Чому це важливо
АналітикаAtlas відкриває нові можливості для створення 3D-сцен і навчання роботів, що може суттєво вплинути на розвиток технологій в AI. Це важливий крок у напрямку інтеграції AI в реальний світ.
Обговорити новину у спільноті
Діліться своїм досвідом та думками з ШІ-розробниками
Пов'язані матеріали екосистеми
Практичні гайди, термінологія та агентські скіли
Зорові мовні моделі (Vision Language Models / VLM)
Мультимодальні моделі, що поєднують здатність сприймати візуальні зображення (через розбиття на патчі) з текстовим інтелектом LLM. Дозволяють розпізнавати предмети на фото, аналізувати складні графіки, читати чеки та розуміти інтерфейси.
JSON — структуровані дані для програм, API та AI-агентів
Повний практичний посібник з формату JSON: синтаксичні правила, серіалізація через parse/stringify, робота з REST API, JSON Schema та структурований вивід для штучного інтелекту.
Формати DOCX та XLSX: коли потрібен повноцінний фінальний документ від ШІ
Повний практичний посібник з генерації та опрацювання документів DOCX і таблиць XLSX за допомогою ШІ: порівняння з Markdown та CSV, промпт-інжиніринг, робота з формулами та автоматизація в коді.
Gemini Flash & Pro (Google Gemini)
Сімейство мультимодальних моделей від Google DeepMind, що поєднує рекордне контекстне вікно (до 2 млн токенів), екстремальну швидкість генерації (понад 150 токенів/с) та нативне сприйняття відео й аудіо.