Nuevo lanzamiento de DeepSeek: pila completamente abierta para acelerar la generación de LLM
Nuevo lanzamiento de DeepSeek: pila completamente abierta para acelerar la generación de LLM
DeepSeek ha lanzado una pila abierta para la generación de LLM, que incluye el algoritmo DSpark que aumenta significativamente la velocidad de generación.
Dentro, hay algoritmos listos, entrenamiento, evaluación e incluso un pipeline de datos. Tómalo y úsalo, es súper práctico. github.com/deepseek-ai/DeepSpec
La esencia radica en el algoritmo DSpark. DeepSeek ya lo está utilizando para DeepSeek-V4 Flash y Pro en producción, y según sus datos, la velocidad de generación para los usuarios ha aumentado aproximadamente entre un 60 y un 85% en comparación con la línea base anterior.
Cómo funciona el algoritmo:
Fundamentalmente, es un modelo pequeño que redacta borradores para el LLM principal. Esto se llama modelo de borrador.
Este enfoque está de moda actualmente, pero DeepSeek lo está llevando a un nuevo nivel. Su modelo de borrador opera de manera inusual, en dos etapas. Primero, se recopila un bloque de tokens en paralelo, y luego un módulo de Markov ligero refina las dependencias entre los tokens vecinos. Gracias a este enfoque, el redactor trabaja rápidamente y no cae significativamente en las colas.
Después de que el redactor ha esbozado un borrador, el LLM principal lo verifica y acepta solo el prefijo correcto, ajustando el resto. Mientras tanto, DSpark decide cuántos tokens enviar para verificación, basándose en las estimaciones de confianza de los tokens y la carga actual en el hardware.
Como resultado, logramos una aceleración de al menos 1.5 veces sin pérdida de calidad. Nos quitamos el sombrero ante DeepSeek por este trabajo de código abierto.
Por qué es importante
AnálisisEsta nueva pila de DeepSeek podría cambiar significativamente los enfoques de generación de LLM, reduciendo el tiempo de procesamiento sin sacrificar la calidad, lo cual es crítico para los desarrolladores y empresas que trabajan en este campo.
Debatir en la comunidad
Comparte tus preguntas e ideas con desarrolladores
Relacionado en el ecosistema
Guías prácticas, terminología y skills de agentes
Generación de Datos Sintéticos y Preentrenamiento
Tecnología de generación, filtrado automático y verificación formal de conjuntos de datos de entrenamiento mediante inteligencia artificial para superar la escasez de datos humanos de calidad.
Kimi K3.1 Pro: Moonshot actualiza el modelo para trabajo con herramientas 3D
Moonshot lanzó Kimi K3.1 Pro con un enfoque en herramientas 3D, post-entrenamiento actualizado y una arquitectura Gated DSA para mejorar la eficiencia en contextos largos.
Revolut traslada a unos 2.000 ingenieros a modelos GLM locales para programación
Revolut movió a unos 2.000 ingenieros a modelos GLM desplegados localmente, reduciendo el coste de IA para programar en unas diez veces y el tiempo de ejecución de tareas en un 70%.
Parte I. Arquitectura de Agentes de IA: Fundamentos
Los once bloques constructivos fundamentales de un agente de IA: taxonomía de modelos, bucle de ejecución, ingeniería de prompts, destilación, skills, memoria, function calling y FinOps.