NVIDIA вирішила головний компроміс сучасних LLM
NVIDIA представила нову мовну модель Nemotron-Labs-TwoTower, яка поєднує швидкість і якість генерації токенів. Ця модель вирішує компроміс між швидкістю та якістю, дозволяючи паралельно генерувати блоки токенів.
NVIDIA вирішила головний компроміс сучасних LLM
При роботі з будь-якою LLM доводиться вибирати між швидкістю та якістю. Авторегресійні моделі, такі як GPT, забезпечують високу якість, але працюють повільно, оскільки генерують по одному токену за раз.
Диффузійні моделі діють навпаки. Вони генерують цілі блоки паралельно і тому працюють швидше, але за цю швидкість доводиться платити якістю.
Саме цю проблему намагалися вирішити дослідники NVIDIA.
Вони взяли 30B-модель і розділили її на дві частини, щоб генерувати токени паралельно, а не по одному. Так з'явилася Nemotron-Labs-TwoTower — дифузійна мовна модель від NVIDIA Research, адаптована на базі Nemotron-3-Nano-30B-A3B.
Але перш ніж розібратися, як працює TwoTower, варто зрозуміти, чому дифузійні LLM взагалі поступаються авторегресійним.
Дифузійна LLM починає з блоку замаскованих токенів і розкриває їх за кілька проходів. На кожному проході вона зчитує весь вже згенерований текст і одночасно передбачає замасковані токени в поточному блоці. Виходить, що одна й та ж мережа одночасно виконує дві абсолютно різні задачі. Вона повинна розуміти вже існуючий контекст і при цьому передбачати токени, яких ще немає.
Один набір ваг виявляється спрямованим одразу на дві різні задачі, тому мережа не може повноцінно спеціалізуватися ні на одній з них.
TwoTower вирішує цю проблему, не змушуючи одну мережу виконувати обидві задачі. Замість цього попередньо навчена авторегресійна модель розділяється на дві вежі.
1. Context Tower
Це заморожена частина моделі, яка зчитує весь вже згенерований текст так само, як це робила вихідна модель. Її більше не навчають, тому інтелектуальні здібності моделі повністю зберігаються.
2. Denoiser Tower
Це навчена частина моделі, яка паралельно генерує кожен новий блок токенів. Щоб не втрачати контекст, вона постійно використовує cross-attention до Context Tower.
Найцікавіше — як взаємодіють ці дві вежі. Вони з'єднані послойно: п'ятий шар Denoiser Tower взаємодіє з п'ятим шаром Context Tower, шостий — з шостим і так далі. Завдяки цьому Denoiser отримує доступ до всього багаторівневого представлення контексту базової моделі, а не тільки до її фінального прихованого представлення.
Результати:
- В 2,42 рази вища пропускна здатність генерації
- Зберігається 98,7% якості вихідної моделі
- Архітектура побудована на базі гібридної 30B-моделі Mamba–Transformer MoE
- Для навчання використано всього близько 2,1 трлн токенів — лише частина від 25 трлн токенів, використаних при попередньому навчанні вихідної моделі
Останній показник тут особливо важливий. Жоден з компонентів не навчався з нуля. Це адаптація, яку можна додати до вже існуючої авторегресійної моделі. Вона відносно дешева перетворює повільне декодування по одному токену в швидку паралельну генерацію блоками.
Тому для будь-яких систем, чутливих до затримок, це підхід, який однозначно варто вивчити. Більше не потрібно вибирати між моделлю, якій ви довіряєте, і необхідною швидкістю.
Ваги, код і методика навчання опубліковані в відкритому доступі.
Стаття:
Чому це важливо
АналітикаЦя нова модель від NVIDIA може значно підвищити ефективність генерації тексту, що є критично важливим для багатьох застосувань AI. Вона дозволяє досягти високої якості при швидкій генерації, що відкриває нові можливості для розробників.
Обговорити новину у спільноті
Діліться своїм досвідом та думками з ШІ-розробниками
Пов'язані матеріали екосистеми
Практичні гайди, термінологія та агентські скіли
AI Radar: GPT-6.1 Terra, Gemini 4 Carbon, Mistral Large 4 і зміни тарифів OpenAI та Anthropic
Огляд свіжих новин AI: оновлення великих мовних моделей, зміни підписок OpenAI та Anthropic, а також нові world-моделі, відеогенератори й корпоративні фінансові деталі.
Дослідники MIT показали, що GPT-6 Astra може покращувати інші ШІ-моделі, змінюючи їхні ваги
У експерименті Astra підвищила точність Qwen3.5-0.8B на бенчмарку MATH-500 із 7,9% до 48,1%, змінивши лише 0,016% ваг моделі.
Монополія Nvidia та платформа CUDA
Аналіз технологічного та економічного домінування корпорації Nvidia на ринку штучного інтелекту. Як створена у 2006 році програмна платформа CUDA (Compute Unified Device Architecture) перетворила звичайні ігрові відеокарти на головний обчислювальний інструмент планети і чому конкурентам (AMD, Intel) так важко зруйнувати цю монополію.
Частина I. Архітектура ШІ-агентів: фундаментальні блоки
Десять фундаментальних блоків сучасного агента: таксономія моделей, рантайм-петля, техніки промптингу, дистиляція, навички (skills), пам'ять, function calling та юніт-економіка.