Atlas: Das erste multimodale Weltmodell von Fei-Fei Lis Startup
Atlas ist ein bahnbrechendes multimodales Weltmodell, das Bilder und Videos mit pixelgenauer Kamerakontrolle generiert und diese in 3D-Szenen rekonstruiert.
Atlas: Das erste multimodale Weltmodell von Fei-Fei Lis Startup
Lernen Sie Atlas kennen – das erste multimodale Weltmodell seiner Art. Es erzeugt Bilder und Videos mit pixelgenauer Kamerakontrolle und kann diese in explizite Punktwolken und 3D-Gaussian-Splatting-Formate rekonstruieren. Zudem ist es für Raum-Zeit-Simulationen trainiert.
Hauptmerkmale:
- Videolänge: Bis zu 1 Minute bei 1440p Auflösung.
- Referenzbilder: Bis zu 6 Stück.
Architektur
Atlas nutzt einen multimodalen Diffusion-Transformer. Dies ist im Wesentlichen eine Hybrid-Architektur aus LLM-Strukturen (mit Autoregression und Caching) und Diffusions-Videomodellen (für das Denoising), kombiniert mit dem Konzept des räumlichen Kontexts. Das bedeutet, dass jedes kontextuelle Element durch die Kameraposition eine explizite 3D-Anbindung besitzt.
Benchmarks
Das Modell beansprucht eine Überlegenheit gegenüber spezialisierten Modellen bei der kameragesteuerten Generierung (wie MiniMax, Gemini Omni Flash, FLUX etc.) sowie bei der 3D-Rekonstruktion (wie Pi3X, VGGT, Depth Anything 3 etc.).
Anwendungen
Die Präzision des Systems ermöglicht den Einsatz zur Schulung von Robotern. Atlas kann aus Videoaufnahmen eine explizite 3D-Szene erstellen, in der Roboterbewegungen simuliert und trainiert werden können (ein Ansatz, der als „Real-to-Sim-to-Real“ bezeichnet wird). Das Modell generiert RGB- und Tiefendaten aus der Perspektive der Bordkameras des Roboters und kann sogar Simulationen erstellen, in denen Objektmanipulation möglich ist.
Fazit
Diese Veröffentlichung stellt eine beeindruckende Leistung im Bereich der KI und Modellierung dar.
Warum das wichtig ist
AnalyseAtlas eröffnet neue Möglichkeiten bei der Erstellung von 3D-Szenen und der Roboterschulung, was die Entwicklung von KI-Technologien erheblich vorantreiben könnte. Es markiert einen wichtigen Schritt hin zur Integration von KI in die reale physische Welt.
In der Community diskutieren
Teile deine Fragen und Erkenntnisse mit Entwicklern
Verwandt im Ökosystem
Praktische Leitfäden, Terminologie und Agenten-Skills
Native Multimodale Inferenz
KI-Architekturen, die in der Lage sind, tiefgehende logische Schlussfolgerungen über Code, Architekturdiagramme, UI-Screenshots und Videostreams in einem gemeinsamen Aufmerksamkeitsraum durchzuführen.
JSON – strukturierte Daten für Anwendungen, APIs und KI-Agenten
Ein umfassender praktischer Leitfaden zum JSON-Format: Syntaxregeln, Serialisierung über parse/stringify, Arbeit mit REST-APIs, JSON Schema und strukturierter Output für künstliche Intelligenz.
DOCX- und XLSX-Formate: Wann ein vollwertiges finales Dokument von KI erforderlich ist
Ein umfassender praktischer Leitfaden zur Generierung und Verarbeitung von DOCX-Dokumenten und XLSX-Tabellen mit KI: Vergleich mit Markdown und CSV, Prompt-Engineering, Arbeit mit Formeln und Automatisierung im Code.
Gemini Flash & Pro (Google Gemini)
Eine Familie multimodaler Modelle von Google DeepMind, die ein rekordverdächtiges Kontextfenster (bis zu 2 Millionen Tokens), extreme Generierungsgeschwindigkeit (über 150 Tokens/Sekunde) und natives Verständnis für Video und Audio kombiniert.