DeepSeek lança DeepInfer, framework de inferência open source
A DeepSeek publicou o DeepInfer, um framework de inferência sob licença Apache-2.0 usado em seus serviços de produção, com kernels otimizados, paralelismo MoE, decodificação especulativa, modo determinístico e saídas estruturadas.
DeepSeek lança DeepInfer, framework de inferência open source
A DeepSeek publicou o DeepInfer, o framework de inferência que roda nos seus serviços de produção. O projeto está sob a licença Apache-2.0.
Na base estão kernels próprios otimizados (FlashMLA, DeepGEMM, DeepEP e outros), paralelismo voltado para arquiteturas MoE e um scheduler assíncrono que prepara o próximo batch enquanto o dispositivo processa o atual.
Principais recursos:
- Decodificação especulativa. O modelo gera vários tokens de rascunho e depois os valida em conjunto, decidindo quais incluir na resposta final e quais precisam ser regenerados. Isso acelera e barateia a inferência.
- Modo determinístico para depuração. Diferente do modo normal de operação, entradas e parâmetros iguais produzem sempre o mesmo resultado, independentemente da carga e da composição do batch. É útil para depurar pipelines e avaliações sobre LLMs.
- Saídas estruturadas. A geração pode ser rigorosamente limitada a JSON, regex ou EBNF.
Além disso, a DeepSeek lançou sob licença MIT o deepseek-recipe, um esquema que descreve como transformar a requisição do cliente em um formato entendido pelo modelo e a resposta do modelo no formato esperado pelo cliente. Essa camada costuma quebrar o self-hosting de pesos abertos. Há também um binding para Python.
Por que isso importa
AnáliseA liberação traz otimizações de inferência de nível produção para a comunidade e pode melhorar desempenho, confiabilidade e custo em hospedagem de modelos abertos.
Debater na comunidade
Compartilhe suas dúvidas e insights com desenvolvedores
Relacionado no ecossistema
Guias práticos, terminologia essencial e skills de agentes
DeepSeek abre o código-fonte do DeepInfer, motor de inferência
DeepInfer é um motor de inferência open source para servir o V4.1-Flash em larga escala, acelerando requisições e reduzindo custos.
DeepSeek 4.1-1017 quase alcança o Opus 5
A DeepSeek lançou o 4.1-1017, modelo melhorado para código, agentes, 3D e visão, que quase empata com o Opus 5 e continua barato na API.
Open Weights vs. Truly Open Source AI
Análise jurídica e de engenharia da diferença fundamental entre pesos numéricos de modelos disponíveis (Llama, DeepSeek) e projetos totalmente abertos com dados de origem, código e arquitetura (Padrão OSI).
DeepSeek (O avanço chinês na IA aberta)
Série de modelos abertos inovadores da laboratório chinês DeepSeek (V3, R1). Demonstra o mais alto nível em codificação e raciocínio a um custo 10–20 vezes inferior ao dos equivalentes comerciais ocidentais.
Jev e System One AI: guia prático completo sobre o modelo de decisão da TypeSafe
Análise técnica aprofundada do modelo principal Jev: arquitetura System One versus LLM, primitivos Choice/Score/Noul, paralelismo de requisições, matemática da confiança, casos de vídeo, código e visão geral de alternativas open-weight locais (Laya, GLiNER2.5, CLM-8B).
Parte I. Arquitetura de Agentes de IA: Blocos Fundamentais
Dez blocos fundamentais de um agente moderno: taxonomia de modelos, loop de runtime, técnicas de prompting, destilação, habilidades (skills), memória, function calling e economia por unidade.