Muse Image et Muse Video : les nouveaux générateurs de Meta

Muse Image et Muse Video : les nouveaux générateurs de Meta

Il s'agit de la première publication depuis le rebranding de Meta GenAI en laboratoire Meta Superintelligence. Muse Image et Muse Video se positionnent comme les successeurs naturels des modèles Emu.

Fondamentalement, ces outils ressemblent à GPT-Image ou Nano Banana, où un modèle de diffusion et un LLM sont étroitement intégrés (partageant potentiellement certaines couches). Le modèle est désormais capable d'écrire du code Python et d'analyser le web pour trouver des références, une fonctionnalité déjà présente dans Nano Banana.

Les démonstrations ont montré comment le modèle commence par écrire du code pour générer un fractal, puis l'intègre clairement dans une image. Cette approche est particulièrement utile pour les infographies : le modèle peut d'abord construire un graphique en Python basé sur vos données, puis l'insérer dans une image. Cela s'avère précieux pour des menus de restaurant nécessitant une mise en page claire, que le modèle peut créer via du HTML conditionnel.

Muse corrige également les erreurs dans les images générées (similaire au Test-Time-Scaling, où plusieurs générations sont produites et la meilleure est sélectionnée). De plus, cette dernière capacité serait apparue spontanément lors de l'apprentissage par renforcement (RL).

En résumé, il s'agit d'un autre « Nano Banana », mais avec une capacité de raisonnement supérieure. Sur l'arène t2i, il a atteint la deuxième place, dépassant de justesse NB2 et Reve-2, bien que la récente version Reve-2.1 ait déjà repris la tête devant Muse.

Sur l'Image Edit Arena, il occupe également la deuxième place, légèrement devant MAI-image-2.5 (où une partie de mon ancienne équipe de Meta a rejoint Microsoft). Le modèle n'est pas encore présent sur les autres arènes.

Une controverse a émergé : certains ont jugé judicieux de générer les visages des utilisateurs Instagram simplement via leur tag @ (une option activée par défaut), ce qui n'a pas été apprécié par tous. Honnêtement, je ne m'attendais pas à cela de la part de Mark 😅.

Le modèle vidéo ne dispose actuellement pas d'agents, mais il se hisse solidement dans le top 3 des classements, surpassant HappyHorse d'Alibaba.

Article de blog - Je pense que nous pouvons passer l'attente du papier académique. Vous pouvez tester le modèle sur l'arène, ou pour l'instant uniquement sur Instagram aux États-Unis ; il faut des siècles à Meta pour déployer quelque chose en Europe.