DeepSeek dévoile une stack open source pour accélérer la génération des LLM

Cette nouvelle offre comprend des algorithmes prêts à l'emploi, ainsi que des modules d'entraînement, d'évaluation et même un pipeline de données. L'ensemble est conçu pour être immédiatement opérationnel et hautement pratique.

Le cœur de cette innovation réside dans l'algorithme DSpark. DeepSeek utilise déjà cette technologie en production pour ses modèles DeepSeek-V4 Flash et Pro. Selon les données internes de l'entreprise, la vitesse de génération perçue par les utilisateurs a augmenté d'environ 60 à 85 % par rapport à la référence précédente.

Fonctionnement de l'algorithme

• Principe fondamental : Il s'agit d'un petit modèle chargé de générer des brouillons (drafts) pour le grand modèle de langage principal. Cette technique, connue sous le nom de speculative decoding, est actuellement très populaire, mais DeepSeek la pousse à un nouveau niveau.
• Approche en deux étapes : Le modèle de brouillon de DeepSeek fonctionne de manière inhabituelle. Premièrement, un bloc de tokens est généré en parallèle. Deuxièmement, un module Markov léger affine les dépendances entre les tokens voisins. Grâce à cette méthode, le générateur de brouillon opère rapidement sans souffrir d'une dégradation significative de la qualité sur les séquences longues.
• Vérification dynamique : Une fois le brouillon esquissé, le LLM principal le vérifie et n'accepte que le préfixe correct, ajustant le reste. Parallèlement, DSpark décide dynamiquement du nombre de tokens à envoyer pour vérification, en se basant sur les estimations de confiance des tokens et la charge actuelle du matériel.

Résultats

Nous obtenons une accélération d'au moins 1,5 fois sans aucune perte de qualité. Chapeau bas à DeepSeek pour ce travail remarquable en open source.