DeepSeek ouvre le code source de DeepInfer, moteur d'inférence
DeepSeek ouvre le code source de DeepInfer, moteur d'inférence
DeepInfer est un moteur d'inférence open source pour servir V4.1-Flash à grande échelle, accélérant les requêtes et réduisant les coûts.
DeepSeek a publié le code source de DeepInfer, le moteur d'inférence qu'elle utilise pour le déploiement à grande échelle de V4.1-Flash.
Ce code permet de traiter plus rapidement les requêtes vers les modèles et de réduire les coûts d'exploitation.
Pour les entreprises qui déploient leurs propres services d'IA, DeepInfer peut même s'avérer plus précieux que les poids du modèle.
Un autre détail important : le moteur fonctionne non seulement sur les puces Nvidia, mais aussi sur Huawei.
Pourquoi c'est important
AnalyseL'optimisation de l'inférence peut être aussi précieuse que les poids du modèle pour les services d'IA auto-hébergés, et le support Huawei élargit les options matérielles.
Discuter dans la communauté
Partagez vos questions et vos idées avec les développeurs
Lié dans l'écosystème
Guides pratiques, terminologie clé et compétences d'agents
DeepSeek publie DeepInfer, un framework d'inférence open source
DeepSeek a publié DeepInfer, un framework d'inférence sous licence Apache-2.0 utilisé dans ses services de production, avec des kernels optimisés, un parallélisme MoE, le décodage spéculatif, un mode déterministe et des sorties structurées.
DeepSeek 4.1-1017 égale presque Opus 5
DeepSeek a publié 4.1-1017, un modèle amélioré pour le code, les agents, la 3D et la vision, qui égale presque Opus 5 tout en restant bon marché.
vLLM (Moteur d'inférence haute performance)
Serveur d'inférence et de service LLM open source leader, qui a révolutionné le débit grâce à l'algorithme de virtualisation mémoire PagedAttention et au batching continu.
DeepSeek (La percée chinoise dans l'IA ouverte)
Série de modèles ouverts révolutionnaires issus du laboratoire chinois DeepSeek (V3, R1). Elle démontre un niveau d'excellence inégalé en codage et en raisonnement, à un coût 10 à 20 fois inférieur aux équivalents commerciaux occidentaux.
Jev et System One AI : guide pratique complet du modèle de décision TypeSafe
Analyse technique approfondie du modèle phare Jev : architecture System One vs LLM, primitives Choice/Score/Noul, parallélisme des requêtes, mathématiques de la confiance, études de cas vidéo, code et aperçu des alternatives open-weight locales (Laya, GLiNER2.5, CLM-8B).
Partie I. Architecture des agents IA : les blocs fondamentaux
Dix blocs fondamentaux d'un agent moderne : taxonomie des modèles, boucle d'exécution (runtime), techniques de prompting, distillation, compétences (skills), mémoire, appels de fonctions et économie unitaire.