DiffusionGemma intégré à vLLM : une nouvelle approche de génération de réponses sans tokens séquentiels
Les développeurs ont intégré DiffusionGemma à vLLM, adoptant l'approche des « System One Models » où les réponses sont générées en une seule étape de débruitage plutôt que par génération séquentielle de tokens.
Diogo Almeida, co-développeur du RLHF et l'un des auteurs de l'article fondateur sur InstructGPT (la technologie qui a posé les bases de ChatGPT en 2022), a introduit une nouvelle classe de modèles appelés System One Models. Ces modèles diffèrent fondamentalement des LLM traditionnels car ils ne génèrent pas de texte de manière séquentielle.
Matt Mastracci, contributeur au projet vLLM, a pris le modèle Google's DiffusionGemma 26B et a implémenté une approche similaire sans nécessiter d'affinage (fine-tuning) du modèle.
Comment cela fonctionne
Au lieu de la génération de texte traditionnelle, un modèle de réponse est spécifié. Après une seule étape de débruitage, les réponses et leurs probabilités sont extraites immédiatement des logits. Cette méthode prend en charge les formats suivants :
- Oui/Non
- Choix multiples
- Notation
Intégration dans vLLM
Ce mode a désormais été ajouté à vLLM. Selon les premiers tests, la qualité des réponses est proche de celle de l'approche originale Jev. Un avantage clé est que le modèle, au format NVFP4, peut être exécuté sur un seul GPU disposant de 24 Go de mémoire.
Matériaux supplémentaires :
Pourquoi c'est important
AnalyseCette avancée ouvre de nouvelles possibilités pour une génération de réponses rapide et efficace dans les tâches de classification, permettant aux modèles puissants de fonctionner sur du matériel grand public.
Discuter dans la communauté
Partagez vos questions et vos idées avec les développeurs