DeepSeek lanza DeepInfer, un framework de inferencia open source
DeepSeek publicó DeepInfer, un framework de inferencia bajo Apache-2.0 que usa en sus servicios de producción, con kernels optimizados, paralelismo MoE, decodificación especulativa, modo determinista y salidas estructuradas.
DeepSeek lanza DeepInfer, un framework de inferencia open source
DeepSeek ha publicado DeepInfer, el framework de inferencia que utiliza en sus servicios de producción. Está disponible bajo la licencia Apache-2.0.
En su núcleo incluye kernels propios optimizados (FlashMLA, DeepGEMM, DeepEP y otros), paralelismo diseñado para arquitecturas MoE y un planificador asíncrono que prepara el siguiente lote mientras el dispositivo calcula el actual.
Entre las funciones destacadas:
- Decodificación especulativa. El modelo genera varios tokens de borrador y luego los valida en conjunto, decidiendo cuáles incluir en la respuesta final y cuáles deben regenerarse. Esto hace la inferencia más rápida y barata.
- Modo determinista para depuración. A diferencia del funcionamiento normal del modelo, las mismas entradas y parámetros producen siempre el mismo resultado, independientemente de la carga y la composición del lote. Es útil para depurar pipelines y evaluaciones sobre LLM.
- Salidas estructuradas. La generación puede restringirse estrictamente a JSON, expresiones regulares o EBNF.
Además, DeepSeek publicó bajo licencia MIT deepseek-recipe, que describe cómo convertir una solicitud de cliente en un formato que el modelo entiende y cómo convertir la respuesta del modelo en el formato que espera el cliente. Esta capa suele fallar en despliegues self-hosted de pesos abiertos. También hay un binding para Python.
Por qué es importante
AnálisisEl proyecto expone optimizaciones de inferencia de nivel productivo y puede ayudar a mejorar rendimiento, fiabilidad y coste en el hosting de modelos abiertos.
Debatir en la comunidad
Comparte tus preguntas e ideas con desarrolladores
Relacionado en el ecosistema
Guías prácticas, terminología y skills de agentes
DeepSeek abre el código de DeepInfer, motor de inferencia
DeepInfer es un motor de inferencia open source para servir V4.1-Flash a gran escala, acelerando solicitudes y reduciendo costos.
DeepSeek 4.1-1017 casi iguala a Opus 5
DeepSeek lanzó 4.1-1017, un modelo mejorado para código, agentes, 3D y visión que casi iguala a Opus 5, sigue siendo económico y publica pesos abiertos.
Open Weights vs Verdaderamente Open Source AI
Análisis legal y técnico de la diferencia fundamental entre los pesos numéricos accesibles de los modelos (Llama, DeepSeek) y proyectos completamente abiertos con datos de origen, código y arquitectura (Estándar OSI).
DeepSeek (Ruptura China en IA Abierta)
Serie de modelos abiertos innovadores de la laboratorio chino DeepSeek (V3, R1). Demuestra el más alto nivel en codificación y razonamiento a un costo de 10 a 20 veces inferior al de los análogos comerciales occidentales.
Jev y System One AI: guía práctica completa del modelo de decisiones de TypeSafe
Análisis ingenieril profundo del modelo insignia Jev: arquitectura System One frente a LLM, primitivas Choice/Score/Noul, paralelismo de consultas, matemática de la confianza, casos de vídeo, código y revisión de alternativas open-weight locales (Laya, GLiNER2.5, CLM-8B).
Parte I. Arquitectura de Agentes de IA: Fundamentos
Los once bloques constructivos fundamentales de un agente de IA: taxonomía de modelos, bucle de ejecución, ingeniería de prompts, destilación, skills, memoria, function calling y FinOps.