DiffusionGemma интегрирована в vLLM: новый подход к генерации ответов без традиционного токенового генерирования
Разработчики интегрировали DiffusionGemma в vLLM, реализовав подход System One Models, где ответы генерируются за один шаг деноизинга вместо последовательной генерации токенов.
Диого Алмейда – соавтор RLHF и один из авторов статьи про InstructGPT (именно эта техника легла в основу для ChatGPT в 2022) – представил новый класс моделей System One Models, которые не генерируют текст.
Мэтт Мастраччи, контрибьютор vLLM, взял DiffusionGemma 26B от Google и заставил ее работать по той же схеме, причем без дообучения модели.
Вместо генерации текста задается шаблон ответа, а после одного шага denoising из логитов сразу достаются ответы и их вероятности. Поддерживаются yes/no, multiple-choice и scoring вопросы.
Теперь этот режим добавили в vLLM. По первым тестам качество близко к оригинальному Jev, а в NVFP4 модель можно поднять на одной GPU с 24 ГБ памяти.
Дополнительно: https://github.com/taeold/djev-run
Почему это важно
АналитикаЭто открывает новые возможности для быстрой и экономной генерации ответов в классификационных задачах, позволяя запускать мощные модели на потребительском железе.
Обсудить в сообществе
Делитесь опытом и мыслями с ИИ-разработчиками
Связанные материалы экосистемы
Практические гайды, терминология и агентские скиллы
vLLM (Высокопроизводительный движок инференса)
Ведущий открытый серверный движок инференса и обслуживания LLM, который произвел революцию в пропускной способности благодаря алгоритму виртуализации памяти PagedAttention и непрерывному батчингу.
KV-Cache Offloading & Compression
Аппаратные и алгоритмические методы временной выгрузки кеша ключей и значений (KV-Cache) из дорогой видеопамяти GPU в системную оперативную память (RAM) или быстрые NVMe SSD.
Бесплатный Figma MCP без лимитов через open-source плагин
Open-source плагин figma-console-mcp даёт агенту доступ к Figma Plugin API как к MCP и обходит лимит 20 вызовов в месяц на бесплатном тарифе.
Cinecode: новый ИИ-инструмент для генерации видео через JavaScript-код
Cinecode — агент для Claude Code и Cursor, который генерирует короткометражки, мультфильмы, рекламу, клипы, объясняющие ролики и длинные YouTube-видео через JavaScript-код.