BFL Lança FLUX 3 Action para Controle de Robôs
BFL Lança FLUX 3 Action para Controle de Robôs
A Black Forest Labs apresentou o FLUX 3 Action, um modelo de vídeo de 7B parâmetros ajustado em gravações de robôs para prever simultaneamente quadros futuros e ações articulares.
A Black Forest Labs (BFL) realizou o ajuste fino (fine-tuning) da base do modelo de vídeo FLUX 3 utilizando gravações de operação de robôs, nas quais os quadros de câmera são sincronizados com posições e ações das articulações. O modelo de 7B aprende a denoizar conjuntamente os quadros futuros e as sequências de movimento.
Dada uma tarefa textual, os quadros atuais e o estado do robô, o modelo prevê movimentos das articulações e da garra junto com seu resultado visual. O robô executa parte dos comandos, recebe novos quadros e recalcula os próximos movimentos.
Na simulação RoboLab-120, o modelo conquistou o primeiro lugar com 42,9% de tentativas bem-sucedidas, superando os 36,8% obtidos pelo Cosmos 3 Nano de 16B. É necessário realizar um novo ajuste fino para cada tipo de robô. Os pesos estão disponíveis sob a Licença FLUX Kommunity, enquanto o código é distribuído sob a licença Apache 2.0.
Por que isso importa
AnáliseO FLUX 3 Action demonstra como modelos de vídeo podem evoluir para modelos de política na IA incorporada, prevendo consequências visuais e ações robóticas em um único ciclo. A disponibilidade de pesos abertos e código licenciado pela Apache facilita a adaptação dessa abordagem por pesquisadores para novos robôs.
Debater na comunidade
Compartilhe suas dúvidas e insights com desenvolvedores