BFL udostępnia FLUX 3 Action do sterowania robotami
BFL udostępnia FLUX 3 Action do sterowania robotami
Black Forest Labs zaprezentowało FLUX 3 Action, model wideo o wielkości 7 mld parametrów, dostosowany do nagrań z robotów w celu jednoczesnego przewidywania przyszłych klatek i ruchów stawów.
Black Forest Labs (BFL) dokonało fine-tuningu modelu bazowego FLUX 3 na nagraniach operacji robotycznych, w których klatki z kamer są zsynchronizowane z pozycjami stawów i wykonywanymi akcjami. Model o wielkości 7 mld parametrów uczy się wspólnego denoisingu przyszłych klatek wideo oraz sekwencji ruchowych.
Przy zadaniu tekstowym, bieżących klatkach i stanie robota, model przewiduje ruchy stawów i chwytaków wraz z ich wizualnym efektem. Robot wykonuje część komend, otrzymuje nowe klatki i przelicza kolejne ruchy.
W symulacji RoboLab-120 model zajął pierwsze miejsce ze skutecznością 42,9%, w porównaniu z 36,8% dla modelu Cosmos 3 Nano o wielkości 16 mld parametrów. Dostosowanie (fine-tuning) jest wymagane dla każdego nowego typu robota. Wagi modelu są dostępne na licencji FLUX Kommunity License, a kod źródłowy został udostępniony na licencji Apache 2.0.
Dlaczego to ważne
AnalizaFLUX 3 Action demonstruje, jak modele wideo mogą stać się modelami politycznymi dla AI ucieleśnionej, przewidując konsekwencje wizualne i działania robota w jednej pętli. Otwarte wagi i kod na licencji Apache ułatwiają badaczom adaptację tego podejścia do nowych platform robotycznych.
Dyskutuj w społeczności
Dziel się swoimi pytaniami i spostrzeżeniami z programistami