Muse Image i Muse Video – nowe generatory od Meta

Muse Image i Muse Video – nowe generatory od Meta

To pierwsze wydanie po rebrandingu działu Meta GenAI na laboratorium Meta Superintelligence. Muse Image i Muse Video stanowią swoistych następców modeli Emu.

W istocie są to rozwiązania podobne do GPT-Image czy Nano Banana, gdzie model dyfuzyjny jest ściśle zintegrowany z dużym modelem językowym (LLM), potencjalnie dzieląc niektóre warstwy. Model potrafi teraz pisać kod w Pythonie i przeszukiwać internet w poszukiwaniu referencji, co było już cechą charakterystyczną Nano Banana.

Podczas demonstracji pokazano, jak model najpierw tworzy kod generujący fraktal, a następnie wyraźnie osadza go w obrazie. Jest to szczególnie przydatne w infografikach: model może najpierw zbudować wykres w Pythonie na podstawie danych użytkownika, a potem umieścić go w grafice. To rozwiązanie sprawdza się np. przy tworzeniu menu restauracyjnych, gdzie wymagany jest przejrzysty układ, który model może wygenerować w warunkowym HTML-u.

Muse koryguje również błędy w generowanych obrazach (podobnie jak w podejściu Test-Time-Scaling, gdzie tworzonych jest wiele wersji, a wybierana najlepsza). Co ciekawe, ta ostatnia funkcja reportedly pojawiła się podczas treningu RL (reinforcement learning).

Ogólnie rzecz biorąc, mamy do czynienia z kolejną wersją Nano Banana, ale z większymi możliwościami wnioskowania. Na arenie t2i arena model zajął drugie miejsce, nieznacznie wyprzedzając NB2 i Reve-2, choć niedawno wydany Reve-2.1 ponownie przeskoczył Muse.

Na arenie Image Edit Arena również zajęto drugie miejsce, minimalnie przed MAI-image-2.5 (do którego częściowo przeszli moi byli koledzy z zespołu w Meta). Model nie jest jeszcze obecny na innych arenach.

Pojawiły się pewne kontrowersje. Ktoś uznał za dobry pomysł generowanie twarzy użytkowników Instagrama wyłącznie na podstawie tagu @ (opcja domyślnie aktywna), co nie wszystkim przypadło do gustu. Szczerze mówiąc, nie spodziewałem się tego po Marku 😅.

Model wideo jest obecnie pozbawiony agentów, ale pewnie plasuje się w top 3 rankingów, przewyższając happyhorse od Alibaba.

Wpis na blogu – uważam, że możemy pominąć oczekiwanie na publikację naukową. Model można przetestować na arenie lub, na razie, tylko w amerykańskim Instagramie – Meta potrzebuje wieczności, aby wdrożyć coś w Europie.