DiffusionGemma intégré à vLLM : une nouvelle approche de génération de réponses sans tokens séquentiels
Les développeurs ont intégré DiffusionGemma à vLLM, adoptant l'approche des « System One Models » où les réponses sont générées en une seule étape de débruitage plutôt que par génération séquentielle de tokens.
Diogo Almeida, co-développeur du RLHF et l'un des auteurs de l'article fondateur sur InstructGPT (la technologie qui a posé les bases de ChatGPT en 2022), a introduit une nouvelle classe de modèles appelés System One Models. Ces modèles diffèrent fondamentalement des LLM traditionnels car ils ne génèrent pas de texte de manière séquentielle.
Matt Mastracci, contributeur au projet vLLM, a pris le modèle Google's DiffusionGemma 26B et a implémenté une approche similaire sans nécessiter d'affinage (fine-tuning) du modèle.
Comment cela fonctionne
Au lieu de la génération de texte traditionnelle, un modèle de réponse est spécifié. Après une seule étape de débruitage, les réponses et leurs probabilités sont extraites immédiatement des logits. Cette méthode prend en charge les formats suivants :
- Oui/Non
- Choix multiples
- Notation
Intégration dans vLLM
Ce mode a désormais été ajouté à vLLM. Selon les premiers tests, la qualité des réponses est proche de celle de l'approche originale Jev. Un avantage clé est que le modèle, au format NVFP4, peut être exécuté sur un seul GPU disposant de 24 Go de mémoire.
Matériaux supplémentaires :
Pourquoi c'est important
AnalyseCette avancée ouvre de nouvelles possibilités pour une génération de réponses rapide et efficace dans les tâches de classification, permettant aux modèles puissants de fonctionner sur du matériel grand public.
Discuter dans la communauté
Partagez vos questions et vos idées avec les développeurs
Lié dans l'écosystème
Guides pratiques, terminologie clé et compétences d'agents
vLLM (Moteur d'inférence haute performance)
Serveur d'inférence et de service LLM open source leader, qui a révolutionné le débit grâce à l'algorithme de virtualisation mémoire PagedAttention et au batching continu.
Figma MCP sans limite pour les agents IA grâce à un plugin open source
figma-console-mcp permet aux agents IA d'utiliser la Plugin API de Figma comme un serveur MCP et de contourner la limite de 20 appels par mois du plan gratuit.
Déchargement et compression du KV-Cache
Méthodes matérielles et algorithmiques permettant de décharger temporairement le cache des clés et des valeurs (KV-Cache) de la mémoire vidéo GPU coûteuse vers la mémoire vive système (RAM) ou des SSD NVMe rapides.
Atelier vidéo : Créer un bot Telegram avec CRM intégré grâce à l'IA (sans coder)
Atelier vidéo pratique animé par Andrii Orlov : création d'un bot Telegram pour les commandes et services, doté d'une interface CRM intégrée, sans écriture de code manuelle.