Muse Image e Muse Video: Os Novos Geradores da Meta

Muse Image e Muse Video - Novos Geradores da Meta

Esta é a primeira liberação após o rebranding da Meta GenAI para o laboratório Meta Superintelligence. O Muse Image e o Muse Video funcionam como sucessores naturais dos modelos Emu.

Essencialmente, tratam-se de sistemas semelhantes ao GPT-Image/Nano Banana, onde um modelo de difusão e um LLM estão intimamente integrados (potencialmente compartilhando algumas camadas). O modelo agora escreve código Python e analisa a web para obter referências, uma capacidade já presente no Nano Banana.

As demonstrações mostraram como o modelo primeiro escreve código para gerar um fractal e depois insere claramente esse resultado em uma imagem. Isso é útil para infográficos: agora o modelo pode construir um gráfico em Python baseado nos seus dados e posicioná-lo na imagem, algo valioso para menus de restaurantes que exigem layouts claros, criáveis via HTML condicional.

O Muse também corrige erros nas imagens geradas (semelhante ao Test-Time-Scaling, onde múltiplas gerações são feitas e a melhor é selecionada). Relatos indicam que essa última característica emergiu durante o treinamento por reforço (RL).

Em geral, trata-se de outro "Nano Banana", mas com maior capacidade de raciocínio. No arena t2i, alcançou o segundo lugar, superando ligeiramente o NB2 e o Reve-2, embora o recém-lançado Reve-2.1 já tenha ultrapassado o Muse novamente.

No Image Edit Arena - também em segundo lugar, à frente do MAI-image-2.5 (para onde parte da minha antiga equipe da Meta migrou). O modelo ainda não está presente em outras arenas.

Houve alguma controvérsia. Alguém achou que seria uma boa ideia gerar rostos de usuários do Instagram simplesmente pelo @-tag (esta opção vem habilitada por padrão), o que nem todos apreciaram. Sinceramente, eu não esperava isso do Mark 😅.

O modelo de vídeo atualmente não possui agentes, mas ocupa firmemente o top 3 dos rankings, superando o happyhorse da Alibaba.

Post no blog - Acho que podemos pular a espera pelo paper técnico. Você pode testar o modelo na arena ou, por enquanto, apenas no Instagram americano - leva séculos para a Meta lançar algo na Europa.