Muse Image i Muse Video – nowe generatory od Meta
Meta zaprezentowała nowe modele generujące obrazy i wideo, integrujące dyfuzję z dużymi modelami językowymi. Narzędzia te, będące następcami Emu, wyróżniają się zdolnością do pisania kodu Pythona i logicznego wnioskowania.
Muse Image i Muse Video – nowe generatory od Meta
To pierwsze wydanie po rebrandingu działu Meta GenAI na laboratorium Meta Superintelligence. Muse Image i Muse Video stanowią swoistych następców modeli Emu.
W istocie są to rozwiązania podobne do GPT-Image czy Nano Banana, gdzie model dyfuzyjny jest ściśle zintegrowany z dużym modelem językowym (LLM), potencjalnie dzieląc niektóre warstwy. Model potrafi teraz pisać kod w Pythonie i przeszukiwać internet w poszukiwaniu referencji, co było już cechą charakterystyczną Nano Banana.
Podczas demonstracji pokazano, jak model najpierw tworzy kod generujący fraktal, a następnie wyraźnie osadza go w obrazie. Jest to szczególnie przydatne w infografikach: model może najpierw zbudować wykres w Pythonie na podstawie danych użytkownika, a potem umieścić go w grafice. To rozwiązanie sprawdza się np. przy tworzeniu menu restauracyjnych, gdzie wymagany jest przejrzysty układ, który model może wygenerować w warunkowym HTML-u.
Muse koryguje również błędy w generowanych obrazach (podobnie jak w podejściu Test-Time-Scaling, gdzie tworzonych jest wiele wersji, a wybierana najlepsza). Co ciekawe, ta ostatnia funkcja reportedly pojawiła się podczas treningu RL (reinforcement learning).
Ogólnie rzecz biorąc, mamy do czynienia z kolejną wersją Nano Banana, ale z większymi możliwościami wnioskowania. Na arenie t2i arena model zajął drugie miejsce, nieznacznie wyprzedzając NB2 i Reve-2, choć niedawno wydany Reve-2.1 ponownie przeskoczył Muse.
Na arenie Image Edit Arena również zajęto drugie miejsce, minimalnie przed MAI-image-2.5 (do którego częściowo przeszli moi byli koledzy z zespołu w Meta). Model nie jest jeszcze obecny na innych arenach.
Pojawiły się pewne kontrowersje. Ktoś uznał za dobry pomysł generowanie twarzy użytkowników Instagrama wyłącznie na podstawie tagu @ (opcja domyślnie aktywna), co nie wszystkim przypadło do gustu. Szczerze mówiąc, nie spodziewałem się tego po Marku 😅.
Model wideo jest obecnie pozbawiony agentów, ale pewnie plasuje się w top 3 rankingów, przewyższając happyhorse od Alibaba.
Wpis na blogu – uważam, że możemy pominąć oczekiwanie na publikację naukową. Model można przetestować na arenie lub, na razie, tylko w amerykańskim Instagramie – Meta potrzebuje wieczności, aby wdrożyć coś w Europie.
Dlaczego to ważne
AnalizaNowe generatory Meta otwierają możliwości tworzenia bardziej złożonej grafiki i wideo dzięki integracji AI z procesem logicznego wnioskowania i kodowania. Zwiększa to efektywność produkcji treści oraz dostępność zaawansowanych narzędzi wizualnych dla szerokiego grona odbiorców.
Dyskutuj w społeczności
Dziel się swoimi pytaniami i spostrzeżeniami z programistami
Powiązane w ekosystemie
Praktyczne poradniki, kluczowa terminologia i skille agentów
Rodzina modeli Llama (Meta Llama)
Seria fundamentalnych, otwartych modeli językowych od Meta (Llama 3, 3.1, 3.3), które stały się standardem branżowym dla ekosystemu Open Weights, lokalnej sztucznej inteligencji oraz korporacyjnego fine-tuning.
Meta Llama (Główny otwarty standard sztucznej inteligencji)
Flagowa seria otwartych modeli językowych firmy Meta (Llama 3, 3.3). Dostępna do bezpłatnego pobierania, modyfikacji i lokalnego uruchamiania na własnych serwerach bez ograniczeń i cenzury.
JSON — dane ustrukturyzowane dla aplikacji, API i agentów AI
Kompletny praktyczny przewodnik po formacie JSON: zasady składniowe, serializacja za pomocą parse/stringify, praca z REST API, JSON Schema oraz strukturalne wyjście dla sztucznej inteligencji.
Formaty DOCX i XLSX: kiedy potrzebny jest pełnoprawny dokument końcowy od AI
Kompletny praktyczny przewodnik po generowaniu i przetwarzaniu dokumentów DOCX oraz arkuszy XLSX za pomocą AI: porównanie z Markdown i CSV, inżynieria promptów, praca z formułami oraz automatyzacja w kodzie.