DiffusionGemma integrada en vLLM: Un nuevo enfoque para la generación de respuestas sin generación de tokens tradicional
Los desarrolladores integraron DiffusionGemma en vLLM, implementando el enfoque System One Models donde las respuestas se generan en un solo paso de denoising en lugar de una generación secuencial de tokens.
Diogo Almeida, co-desarrollador de RLHF y uno de los autores del artículo sobre InstructGPT (la tecnología que sentó las bases de ChatGPT en 2022), presentó una nueva clase de modelos llamados System One Models. Estos modelos se diferencian fundamentalmente de los LLM tradicionales ya que no generan texto de forma secuencial.
Matt Mastracci, contribuyente del proyecto vLLM, tomó el modelo DiffusionGemma 26B de Google e implementó un enfoque similar sin fine-tuning del modelo.
Cómo funciona
En lugar de la generación de texto tradicional, se especifica una plantilla de respuesta. Después de un solo paso de denoising, las respuestas y sus probabilidades se extraen inmediatamente de los logits. El método admite formatos:
- sí/no
- opción múltiple
- puntuación (scoring)
Integración en vLLM
Ahora este modo ha sido añadido a vLLM. Según las primeras pruebas, la calidad de las respuestas es cercana al enfoque original de Jev. Una ventaja clave es que el modelo en formato NVFP4 puede ejecutarse en una sola GPU con 24GB de memoria.
Materiales adicionales:
Por qué es importante
AnálisisEsto abre nuevas posibilidades para una generación de respuestas rápida y eficiente en tareas de clasificación, permitiendo ejecutar modelos potentes en hardware de consumo.
Debatir en la comunidad
Comparte tus preguntas e ideas con desarrolladores
Relacionado en el ecosistema
Guías prácticas, terminología y skills de agentes
vLLM (Motor de Inferencia de Alto Rendimiento)
Servidor de inferencia y servicio LLM de código abierto líder que ha revolucionado el rendimiento gracias al algoritmo de virtualización de memoria PagedAttention y el batching continuo.
Figma MCP sin límites para agentes de IA mediante un plugin open source
figma-console-mcp permite a los agentes de IA usar la Plugin API de Figma como un servidor MCP y evitar el límite de 20 llamadas mensuales en el plan gratuito.
KV-Cache Offloading y Compresión
Métodos hardware y algorítmicos para la descarga temporal de la caché de claves y valores (KV-Cache) desde la costosa memoria de video GPU a la memoria RAM del sistema o a rápidos SSD NVMe.
Guía: Generación de prompts a partir de imágenes. Comparativa de herramientas
Las herramientas image-to-prompt analizan entradas visuales y generan descripciones textuales detalladas, optimizadas para modelos generativos de difusión.