Muse Image та Muse Video - нові генератори від Meta
Meta представила нові генератори зображень Muse Image та Muse Video, які інтегрують дифузійну модель та LLM для створення графіки та відео.
Muse Image та Muse Video - нові генератори від Meta
Це перший реліз після ребрендингу Meta GenAI в Meta Superintelligence lab. Muse Image та Muse Video є своєрідними спадкоємцями моделей Emu.
По суті, це щось на зразок GPT-Image/Nano Banana, де дуже тісно інтегрована дифузійна модель і LLM (потенційно спільна частина шарів). Модель тепер сама пише Python-код і парсить веб для референсів, що вже було у Nano Banana.
Показали, як модель спочатку пише код для генерації фрактала, а потім чітко вставляє його на картинку. Це корисно для інфографіки: тепер модель може спочатку побудувати графік у Python за вашими даними, а потім вставити його в картинку, що може бути корисно для меню в ресторанах, де потрібна чітка верстка, яку модель може зробити на умовному HTML.
Muse також сама виправляє помилки на згенерованих картинках (типу Test-Time-Scaling, де робиться кілька генерацій і вибирається найкраща). Причому остання функція, як стверджують, емерджентно з'явилася під час RL-тренування.
В загальному, ще одна Nano Banana, але з більшим ризонінгом. На t2i арені вона потрапила на друге місце, ледве випередивши NB2 і Reve-2, але вчора випущений Reve-2.1 знову обігнав Muse.
На Image Edit Arena - також друге місце, трохи випередив MAI-image-2.5 (куди якраз пішла частина моєї колишньої команди з Meta, в якій я працював раніше). На інших аренах моделі поки немає.
Без скандалу не обійшлося. Хтось вирішив, що буде хорошою ідеєю генерувати обличчя користувачів Instagram просто за @-тегом (опція включена за замовчуванням), що не всі оцінили. Такого я, якщо чесно, від Марка не очікував 😅.
Відео-модель поки без агентів, але вже впевнено займає місце в топ-3 лідербордів, обійшовши happyhorse від Alibaba.
Блогпост - паперу, я думаю, можна не чекати. Потестувати модель можна на арені, або поки тільки в американському Instagram - у Meta займає вічність, щоб щось випустити в Європу.
Чому це важливо
АналітикаЦі нові генератори від Meta відкривають нові можливості для створення графіки та відео, що може суттєво вплинути на індустрію контенту. Інтеграція AI у процеси генерації зображень робить їх більш доступними та ефективними.
Обговорити новину у спільноті
Діліться своїм досвідом та думками з ШІ-розробниками
Пов'язані матеріали екосистеми
Практичні гайди, термінологія та агентські скіли
Сімейство Llama (Meta Llama)
Серія фундаментальних відкритих мовних моделей від Meta (Llama 3, 3.1, 3.3), що стали промисловим стандартом екосистеми Open Weights, локального ШІ та корпоративного файн-тюнінгу.
Meta Llama (Головний відкритий стандарт штучного інтелекту)
Флагманська серія відкритих мовних моделей від компанії Meta (Llama 3, 3.3). Доступна для вільного скачування, модифікації та локального запуску на власних серверах без обмежень і цензури.
JSON — структуровані дані для програм, API та AI-агентів
Повний практичний посібник з формату JSON: синтаксичні правила, серіалізація через parse/stringify, робота з REST API, JSON Schema та структурований вивід для штучного інтелекту.
Формати DOCX та XLSX: коли потрібен повноцінний фінальний документ від ШІ
Повний практичний посібник з генерації та опрацювання документів DOCX і таблиць XLSX за допомогою ШІ: порівняння з Markdown та CSV, промпт-інжиніринг, робота з формулами та автоматизація в коді.