Atlas: Das erste multimodale Weltmodell von Fei-Fei Lis Startup

Atlas: Das erste multimodale Weltmodell von Fei-Fei Lis Startup

Lernen Sie Atlas kennen – das erste multimodale Weltmodell seiner Art. Es erzeugt Bilder und Videos mit pixelgenauer Kamerakontrolle und kann diese in explizite Punktwolken und 3D-Gaussian-Splatting-Formate rekonstruieren. Zudem ist es für Raum-Zeit-Simulationen trainiert.

Hauptmerkmale:

• Videolänge: Bis zu 1 Minute bei 1440p Auflösung.
• Referenzbilder: Bis zu 6 Stück.

Architektur

Atlas nutzt einen multimodalen Diffusion-Transformer. Dies ist im Wesentlichen eine Hybrid-Architektur aus LLM-Strukturen (mit Autoregression und Caching) und Diffusions-Videomodellen (für das Denoising), kombiniert mit dem Konzept des räumlichen Kontexts. Das bedeutet, dass jedes kontextuelle Element durch die Kameraposition eine explizite 3D-Anbindung besitzt.

Benchmarks

Das Modell beansprucht eine Überlegenheit gegenüber spezialisierten Modellen bei der kameragesteuerten Generierung (wie MiniMax, Gemini Omni Flash, FLUX etc.) sowie bei der 3D-Rekonstruktion (wie Pi3X, VGGT, Depth Anything 3 etc.).

Anwendungen

Die Präzision des Systems ermöglicht den Einsatz zur Schulung von Robotern. Atlas kann aus Videoaufnahmen eine explizite 3D-Szene erstellen, in der Roboterbewegungen simuliert und trainiert werden können (ein Ansatz, der als „Real-to-Sim-to-Real“ bezeichnet wird). Das Modell generiert RGB- und Tiefendaten aus der Perspektive der Bordkameras des Roboters und kann sogar Simulationen erstellen, in denen Objektmanipulation möglich ist.

Fazit

Diese Veröffentlichung stellt eine beeindruckende Leistung im Bereich der KI und Modellierung dar.