DeepSeek publie DeepInfer, un framework d'inférence open source
DeepSeek a publié DeepInfer, un framework d'inférence sous licence Apache-2.0 utilisé dans ses services de production, avec des kernels optimisés, un parallélisme MoE, le décodage spéculatif, un mode déterministe et des sorties structurées.
DeepSeek publie DeepInfer, un framework d'inférence open source
DeepSeek a publié DeepInfer, le framework d'inférence qui alimente ses services de production. Le projet est distribué sous licence Apache-2.0.
Il repose sur des kernels maison optimisés (FlashMLA, DeepGEMM, DeepEP et d'autres), un parallélisme conçu pour les architectures MoE et un ordonnanceur asynchrone qui prépare le lot suivant pendant que le device traite le lot courant.
Fonctionnalités clés :
- Décodage spéculatif. Le modèle génère plusieurs jetons candidats, puis les vérifie en bloc pour décider lesquels intégrer à la réponse finale et lesquels régénérer. Cela accélère et réduit le coût de l'inférence.
- Mode déterministe pour le débogage. Contrairement au fonctionnement normal du modèle, les mêmes entrées et paramètres produisent toujours le même résultat, indépendamment de la charge et de la composition du lot. C'est utile pour déboguer des pipelines et des évaluations construites sur des LLM.
- Sorties structurées. La génération peut être strictement contrainte à du JSON, à une expression régulière ou à de l'EBNF.
DeepSeek a également publié sous licence MIT deepseek-recipe, un schéma qui décrit comment transformer une requête client en format compris par le modèle, puis la réponse du modèle en format attendu par le client. Cette couche casse souvent l'auto-hébergement de poids ouverts. Un binding Python est disponible.
Pourquoi c'est important
AnalyseLa publication donne accès à des optimisations d'inférence de niveau production et peut améliorer les performances, la fiabilité et le coût de l'hébergement de modèles ouverts.
Discuter dans la communauté
Partagez vos questions et vos idées avec les développeurs
Lié dans l'écosystème
Guides pratiques, terminologie clé et compétences d'agents
DeepSeek ouvre le code source de DeepInfer, moteur d'inférence
DeepInfer est un moteur d'inférence open source pour servir V4.1-Flash à grande échelle, accélérant les requêtes et réduisant les coûts.
DeepSeek 4.1-1017 égale presque Opus 5
DeepSeek a publié 4.1-1017, un modèle amélioré pour le code, les agents, la 3D et la vision, qui égale presque Opus 5 tout en restant bon marché.
Open Weights vs Truly Open Source AI
Analyse juridique et technique de la différence fondamentale entre les modèles à poids accessibles (Llama, DeepSeek) et les projets véritablement open source incluant les données sources, le code et l'architecture (norme OSI).
DeepSeek (La percée chinoise dans l'IA ouverte)
Série de modèles ouverts révolutionnaires issus du laboratoire chinois DeepSeek (V3, R1). Elle démontre un niveau d'excellence inégalé en codage et en raisonnement, à un coût 10 à 20 fois inférieur aux équivalents commerciaux occidentaux.
Jev et System One AI : guide pratique complet du modèle de décision TypeSafe
Analyse technique approfondie du modèle phare Jev : architecture System One vs LLM, primitives Choice/Score/Noul, parallélisme des requêtes, mathématiques de la confiance, études de cas vidéo, code et aperçu des alternatives open-weight locales (Laya, GLiNER2.5, CLM-8B).
Partie I. Architecture des agents IA : les blocs fondamentaux
Dix blocs fondamentaux d'un agent moderne : taxonomie des modèles, boucle d'exécution (runtime), techniques de prompting, distillation, compétences (skills), mémoire, appels de fonctions et économie unitaire.