Atlas: Pierwszy multimodalny model świata od startupu Fei-Fei Li

Atlas: Pierwszy multimodalny model świata od startupu Fei-Fei Li

Poznajcie Atlas – pierwszy w historii multimodalny model świata. Generuje on obrazy i wideo z kontrolą kamery na poziomie pikseli, a następnie potrafi zrekonstruować te materiały do postaci scen 3D w formacie chmury punktów (point cloud) oraz 3D Gaussian splats. Model jest również szkolony pod kątem symulacji przestrzeni i czasu.

Kluczowe funkcje:

• Czas trwania wideo: Do 1 minuty w rozdzielczości 1440p.
• Obrazy referencyjne: Możliwość wykorzystania do 6 obrazów wejściowych.

Architektura

Atlas opiera się na multimodalnym transformatorze dyfuzyjnym, będącym hybrydą architektury LLM (z autoregresją i cache’owaniem) oraz modeli wideo typu diffusion (służących do odszumiania), dodatkowo wzbogaconej o koncepcję kontekstu przestrzennego. Oznacza to, że każdy element kontekstowy posiada jawne powiązanie 3D poprzez pozycję kamery.

Benchmarki

Model deklaruje przewagę nad wyspecjalizowanymi rozwiązaniami w zakresie generowania z kontrolą kamery (np. MiniMax, Gemini Omni Flash, FLUX) oraz w rekonstrukcji 3D (np. Pi3X, VGGT, Depth Anything 3).

Zastosowania

Silnik jest na tyle precyzyjny, że może być wykorzystywany do szkolenia robotów. Atlas potrafi zbudować jawną scenę 3D z wideo, w której można symulować i trenować ruchy robota (podejście Real-to-Sim-to-Real). Model generuje dane RGB oraz mapy głębi z perspektywy kamer pokładowych robota, umożliwiając nawet tworzenie symulacji pozwalających na manipulację obiektami.

Podsumowanie

To wydanie stanowi imponujące osiągnięcie w dziedzinie sztucznej inteligencji i modelowania.