Black Forest Labs lance FLUX 3 Action pour le contrôle robotique
Black Forest Labs lance FLUX 3 Action pour le contrôle robotique
Black Forest Labs a présenté FLUX 3 Action, un modèle vidéo de 7 milliards de paramètres affiné sur des enregistrements robotiques pour prédire simultanément les images futures et les actions articulaires.
Black Forest Labs (BFL) a affiné la base du modèle vidéo FLUX 3 sur des enregistrements d'opérations robotiques, où les images de caméra sont synchronisées avec les positions articulaires et les actions. Ce modèle de 7 milliards de paramètres apprend à débruiter conjointement les images futures et les séquences de mouvement.
À partir d'une tâche textuelle, des images actuelles et de l'état du robot, le modèle prédit les mouvements des articulations et du préhenseur ainsi que leur résultat visuel. Le robot exécute une partie des commandes, reçoit de nouvelles images et recalcule les mouvements suivants.
Sur la simulation RoboLab-120, il s'est classé premier avec un taux de réussite de 42,9 %, contre 36,8 % pour le Cosmos 3 Nano de 16 milliards de paramètres. Un nouvel affinage est nécessaire pour chaque nouveau robot. Les poids sont disponibles sous la licence FLUX Kommunity, tandis que le code est publié sous licence Apache 2.0.
Pourquoi c'est important
AnalyseFLUX 3 Action démontre comment les modèles vidéo peuvent devenir des modèles de politique pour l'IA incarnée, en prédisant les conséquences visuelles et les actions robotiques dans une seule boucle. La disponibilité des poids ouverts et du code sous licence Apache facilite l'adaptation de cette approche aux nouveaux robots par les chercheurs.
Discuter dans la communauté
Partagez vos questions et vos idées avec les développeurs