Muse Image und Muse Video: Metas neue Generatoren verbinden Diffusionsmodelle mit LLMs

Muse Image und Muse Video – Neue Generatoren von Meta

Dies ist die erste Veröffentlichung nach der Umbenennung von Meta GenAI in das Meta Superintelligence Lab. Muse Image und Muse Video gelten als Nachfolger der Emu-Modelle.

Im Wesentlichen handelt es sich um eine Weiterentwicklung im Stil von GPT-Image oder Nano Banana, bei der ein Diffusionsmodell und ein LLM eng verzahnt sind (potenziell teilen sie sich sogar einige Schichten). Das Modell kann nun Python-Code schreiben und das Web nach Referenzen durchsuchen – eine Funktion, die bereits in Nano Banana vorhanden war.

In einer Demonstration zeigte Meta, wie das Modell zunächst Code zur Erzeugung eines Fraktals schreibt und dieses dann präzise in ein Bild integriert. Dies ist besonders für Infografiken nützlich: Das Modell kann basierend auf den Nutzerdaten zuerst ein Diagramm in Python erstellen und es anschließend in ein Bild einfügen. Auch für Anwendungen wie Restaurantmenüs, die ein klares Layout erfordern, kann das Modell entsprechende HTML-Strukturen generieren.

Muse korrigiert zudem Fehler in generierten Bildern, ähnlich dem Test-Time-Scaling-Ansatz, bei dem mehrere Generationen erzeugt und die beste ausgewählt wird. Berichten zufolge entstand diese Fähigkeit während des Reinforcement Learning (RL)-Trainings.

Allgemein lässt sich sagen: Es ist ein weiteres „Nano Banana“, jedoch mit stärkerer Reasoning-Fähigkeit. In der Text-to-Image-Arena erreichte Muse den zweiten Platz und überholte knapp NB2 und Reve-2, wurde jedoch bereits vom kürzlich veröffentlichten Reve-2.1 wieder überholt.

Auch in der Image Edit Arena belegt das Modell den zweiten Platz, leicht vor MAI-image-2.5 (ein Projekt, an dem Teile des ehemaligen Teams von Meta beteiligt waren, wo der Autor zuvor tätig war). Auf anderen Arenen ist das Modell noch nicht vertreten.

Es gab auch Kontroversen: Einige Nutzer fanden die Idee problematisch, Gesichter von Instagram-Nutzern einfach per @-Tag zu generieren (eine standardmäßig aktivierte Option), was nicht überall auf Zustimmung stieß. Ehrlich gesagt hatte man dies von Mark Zuckerberg nicht erwartet 😅.

Das Videomodell arbeitet derzeit ohne Agenten, positioniert sich aber souverän in den Top 3 der Leaderboards und übertrifft dabei HappyHorse von Alibaba.

Blogpost – Wir können das Warten auf das wissenschaftliche Paper vermutlich überspringen. Das Modell kann aktuell in der Arena getestet werden oder vorerst nur in der US-Version von Instagram; die Einführung in Europa dauert bei Meta erfahrungsgemäß sehr lange.