BFL veröffentlicht FLUX 3 Action für Robotersteuerung
BFL veröffentlicht FLUX 3 Action für Robotersteuerung
Black Forest Labs stellt FLUX 3 Action vor, ein 7-Milliarden-Parameter-Videomodell, das auf Roboteraufnahmen feinabgestimmt wurde, um sowohl zukünftige Bildframes als auch Gelenkbewegungen vorherzusagen.
Black Forest Labs (BFL) hat die Basis des FLUX 3 Videomodells auf Aufnahmen von Roboteroperationen feinabgestimmt, bei denen Kamerabilder mit Gelenkpositionen und Aktionen synchronisiert sind. Das 7-Milliarden-Modell lernt, zukünftige Frames und Bewegungssequenzen gemeinsam zu entrauschen.
Bei einer gegebenen Textaufgabe, aktuellen Frames und dem Zustand des Roboters sagt das Modell Gelenk- und Greiferbewegungen zusammen mit ihrem visuellen Ergebnis voraus. Der Roboter führt einen Teil der Befehle aus, erhält neue Frames und berechnet die nächsten Bewegungen neu.
In der RoboLab-120-Simulation belegte das Modell den ersten Platz mit einer Erfolgsquote von 42,9 %, verglichen mit 36,8 % für das 16-Milliarden-Modell Cosmos 3 Nano. Für einen neuen Roboter ist eine Feinabstimmung erforderlich. Die Gewichte sind unter der FLUX Kommunity License verfügbar, und der Code wird unter Apache 2.0 veröffentlicht.
Warum das wichtig ist
AnalyseFLUX 3 Action demonstriert, wie Videomodelle als Policy-Modelle für verkörperte KI fungieren können, indem sie visuelle Konsequenzen und Roboteraktionen in einem geschlossenen Regelkreis vorhersagen. Offene Gewichte und Apache-lizenzierter Code erleichtern es Forschern, diesen Ansatz auf neue Roboterplattformen zu übertragen.
In der Community diskutieren
Teile deine Fragen und Erkenntnisse mit Entwicklern