DiffusionGemma Integrado ao vLLM: Geração de Respostas Sem Tokens Sequenciais
O modelo DiffusionGemma foi integrado ao vLLM, adotando a abordagem 'System One' para gerar respostas em um único passo de denoising. Essa inovação permite alta eficiência e execução em GPUs de consumo com apenas 24GB de memória.
Diogo Almeida, co-desenvolvedor do RLHF e um dos autores do artigo InstructGPT (a tecnologia que lançou as bases para o ChatGPT em 2022), introduziu uma nova classe de modelos denominada System One Models. Diferentemente dos LLMs tradicionais, esses modelos não geram texto sequencialmente.
Matt Mastracci, contribuidor do projeto vLLM, aplicou essa mesma abordagem ao modelo Google's DiffusionGemma 26B, sem necessidade de ajuste fino (fine-tuning) da arquitetura original.
Como Funciona
Em vez da geração tradicional de texto, especifica-se um template de resposta. Após um único passo de denoising, as respostas e suas probabilidades são extraídas imediatamente dos logits. O método suporta os seguintes formatos:
- Sim/Não
- Múltipla escolha
- Pontuação (scoring)
Integração no vLLM
Este modo foi adicionado ao vLLM. Segundo testes iniciais, a qualidade das respostas é comparável à abordagem original Jev. Uma vantagem crucial é que o modelo, no formato NVFP4, pode ser executado em uma única GPU com 24GB de memória.
Materiais adicionais:
Por que isso importa
AnáliseEssa integração abre novas possibilidades para a geração rápida e eficiente de respostas em tarefas de classificação, democratizando o acesso a modelos poderosos ao permitir sua execução em hardware de consumo.
Debater na comunidade
Compartilhe suas dúvidas e insights com desenvolvedores
Relacionado no ecossistema
Guias práticos, terminologia essencial e skills de agentes
vLLM (Motor de inferência de alto desempenho)
O principal motor de inferência e serventia de LLMs de código aberto, que revolucionou a capacidade de processamento graças ao algoritmo de virtualização de memória PagedAttention e ao batching contínuo.
Descarregamento e Compressão do KV-Cache
Métodos de hardware e algoritmos para o descarregamento temporário do cache de chaves e valores (KV-Cache) da memória de vídeo GPU, de alto custo, para a memória RAM do sistema ou SSDs NVMe rápidos.
Figma MCP sem limites para agentes de IA com um plugin open source
O figma-console-mcp permite que agentes de IA usem a Plugin API do Figma como um servidor MCP, contornando o limite de 20 chamadas por mês no plano gratuito.
Perfil Hermes: Diagnóstico e Otimização de Custos de Tokens
Perfil de otimização de contexto e custos de tokens Hermes: detecção de prompts inflados, configuração de cache e redução dos custos da API em 40-70%.