DiffusionGemma інтегрована у vLLM: новий підхід до генерації відповідей без традиційного токенового генерування
Розробники інтегрували DiffusionGemma у vLLM, реалізувавши підхід System One Models, де відповіді генеруються за один крок денуазингу замість послідовної генерації токенів.
Диого Алмейда, співрозробник RLHF та один із авторів статті про InstructGPT (технології, що лягла в основу ChatGPT у 2022 році), представив новий клас моделей — System One Models. Ці моделі принципово відрізняються від традиційних LLM тим, що не генерують текст послідовно.
Метт Мастраччи, контрибьютор проєкту vLLM, взяв модель DiffusionGemma 26B від Google та реалізував аналогічний підхід без дообучення моделі.
Як це працює
Замість традиційної генерації тексту задається шаблон відповіді. Після одного кроку денуазингу (denoising) з логітів одразу витягуються відповіді та їх ймовірності. Метод підтримує формати:
- yes/no
- multiple-choice
- scoring
Інтеграція в vLLM
Тепер цей режим додано в vLLM. За першими тестами якість відповідей близька до оригінального підходу Jev. Важливою перевагою є те, що модель у форматі NVFP4 можна запустити на одній GPU з 24 ГБ пам'яті.
Додаткові матеріали:
Чому це важливо
АналітикаЦе відкриває нові можливості для швидкої та економної генерації відповідей у класифікаційних задачах, дозволяючи запускати потужні моделі на споживчому залізі.
Обговорити новину у спільноті
Діліться своїм досвідом та думками з ШІ-розробниками
Пов'язані матеріали екосистеми
Практичні гайди, термінологія та агентські скіли
vLLM (Високопродуктивний рушій інференсу)
Провідний відкритий серверний рушій інференсу та обслуговування LLM, що здійснив революцію у пропускній здатності завдяки алгоритму віртуалізації пам'яті PagedAttention та неперервному батчингу.
KV-Cache Offloading & Compression
Апаратні та алгоритмічні методи тимчасового вивантаження кешу ключів і значень (KV-Cache) із дорогої відеопам'яті GPU у системну оперативну пам'ять (RAM) або швидкі NVMe SSD.
Figma MCP без обмежень: open-source плагін для ШІ-агентів
Open-source плагін figma-console-mcp надає ШІ-агентам доступ до Figma Plugin API без лімітів офіційного MCP.
Cinecode: новий ШІ-інструмент для генерації відео через JavaScript-код
Cinecode — агент для Claude Code та Cursor, який генерує короткометражки, мультфільми, рекламу, кліпи, пояснювальні ролики та довгі YouTube-відео через JavaScript-код.