DeepSeek lança stack totalmente aberta para acelerar a geração de LLMs

A DeepSeek acaba de liberar uma stack completa e aberta para a geração de Modelos de Linguagem de Grande Escala (LLMs). O repositório contém algoritmos prontos para uso, além de ferramentas para treinamento, avaliação e até mesmo um pipeline de dados integrado, tornando a implementação extremamente prática.

O código está disponível em: github.com/deepseek-ai/DeepSpec

O Algoritmo DSpark

O cerne desta inovação reside no algoritmo DSpark. A DeepSeek já utiliza esta tecnologia em produção nos modelos DeepSeek-V4 Flash e Pro. Segundo os dados oficiais da empresa, a velocidade de geração percebida pelos usuários aumentou entre 60% e 85% em comparação com a linha de base anterior.

Como funciona?

1. Modelo de Rascunho (Draft Model): Fundamentalmente, o sistema utiliza um modelo menor que gera rascunhos preliminares para o LLM principal.
2. Abordagem em Duas Etapas: Embora o uso de draft models seja uma tendência atual, a DeepSeek eleva essa técnica a um novo nível. O modelo de rascunho opera em duas fases:

   • Primeiro, um bloco de tokens é coletado em paralelo.
   • Em seguida, um módulo Markov leve refina as dependências entre os tokens vizinhos. Isso garante que o gerador de rascunhos opere rapidamente sem perder precisão nas caudas da distribuição de probabilidade.
3. Verificação Adaptativa: Após o rascunho ser esboçado, o LLM principal verifica o conteúdo, aceitando apenas o prefixo correto e ajustando o restante. O DSpark decide dinamicamente quantos tokens enviar para verificação, baseando-se nas estimativas de confiança dos tokens e na carga atual do hardware.

Resultados

O resultado final é uma aceleração de pelo menos 1,5 vezes, sem qualquer perda de qualidade. Esta contribuição representa um marco importante no cenário de código aberto, demonstrando o compromisso da DeepSeek com a otimização eficiente de recursos computacionais.