DeepSeek abre o código-fonte do DeepInfer, motor de inferência
DeepSeek abre o código-fonte do DeepInfer, motor de inferência
DeepInfer é um motor de inferência open source para servir o V4.1-Flash em larga escala, acelerando requisições e reduzindo custos.
DeepSeek publicou o código-fonte do DeepInfer, o motor de inferência que usa para o lançamento em larga escala do V4.1-Flash.
Esse código ajuda a atender requisições aos modelos com mais rapidez e a reduzir os custos de operação.
Para empresas que implantam seus próprios serviços de IA, o DeepInfer pode ser até mais valioso do que os pesos do modelo.
Outro detalhe importante: o motor funciona não apenas em chips da Nvidia, mas também em Huawei.
Por que isso importa
AnálisePara serviços de IA auto-hospedados, a otimização da inferência pode ser tão valiosa quanto os pesos do modelo, e o suporte à Huawei amplia as opções de hardware.
Debater na comunidade
Compartilhe suas dúvidas e insights com desenvolvedores
Relacionado no ecossistema
Guias práticos, terminologia essencial e skills de agentes
DeepSeek lança DeepInfer, framework de inferência open source
A DeepSeek publicou o DeepInfer, um framework de inferência sob licença Apache-2.0 usado em seus serviços de produção, com kernels otimizados, paralelismo MoE, decodificação especulativa, modo determinístico e saídas estruturadas.
DeepSeek 4.1-1017 quase alcança o Opus 5
A DeepSeek lançou o 4.1-1017, modelo melhorado para código, agentes, 3D e visão, que quase empata com o Opus 5 e continua barato na API.
vLLM (Motor de inferência de alto desempenho)
O principal motor de inferência e serventia de LLMs de código aberto, que revolucionou a capacidade de processamento graças ao algoritmo de virtualização de memória PagedAttention e ao batching contínuo.
DeepSeek (O avanço chinês na IA aberta)
Série de modelos abertos inovadores da laboratório chinês DeepSeek (V3, R1). Demonstra o mais alto nível em codificação e raciocínio a um custo 10–20 vezes inferior ao dos equivalentes comerciais ocidentais.
Jev e System One AI: guia prático completo sobre o modelo de decisão da TypeSafe
Análise técnica aprofundada do modelo principal Jev: arquitetura System One versus LLM, primitivos Choice/Score/Noul, paralelismo de requisições, matemática da confiança, casos de vídeo, código e visão geral de alternativas open-weight locais (Laya, GLiNER2.5, CLM-8B).
Parte I. Arquitetura de Agentes de IA: Blocos Fundamentais
Dez blocos fundamentais de um agente moderno: taxonomia de modelos, loop de runtime, técnicas de prompting, destilação, habilidades (skills), memória, function calling e economia por unidade.