DiffusionGemma Integrado ao vLLM: Geração de Respostas Sem Tokens Sequenciais
O modelo DiffusionGemma foi integrado ao vLLM, adotando a abordagem 'System One' para gerar respostas em um único passo de denoising. Essa inovação permite alta eficiência e execução em GPUs de consumo com apenas 24GB de memória.
Diogo Almeida, co-desenvolvedor do RLHF e um dos autores do artigo InstructGPT (a tecnologia que lançou as bases para o ChatGPT em 2022), introduziu uma nova classe de modelos denominada System One Models. Diferentemente dos LLMs tradicionais, esses modelos não geram texto sequencialmente.
Matt Mastracci, contribuidor do projeto vLLM, aplicou essa mesma abordagem ao modelo Google's DiffusionGemma 26B, sem necessidade de ajuste fino (fine-tuning) da arquitetura original.
Como Funciona
Em vez da geração tradicional de texto, especifica-se um template de resposta. Após um único passo de denoising, as respostas e suas probabilidades são extraídas imediatamente dos logits. O método suporta os seguintes formatos:
- Sim/Não
- Múltipla escolha
- Pontuação (scoring)
Integração no vLLM
Este modo foi adicionado ao vLLM. Segundo testes iniciais, a qualidade das respostas é comparável à abordagem original Jev. Uma vantagem crucial é que o modelo, no formato NVFP4, pode ser executado em uma única GPU com 24GB de memória.
Materiais adicionais:
Por que isso importa
AnáliseEssa integração abre novas possibilidades para a geração rápida e eficiente de respostas em tarefas de classificação, democratizando o acesso a modelos poderosos ao permitir sua execução em hardware de consumo.
Debater na comunidade
Compartilhe suas dúvidas e insights com desenvolvedores