DeepSeek выпустила DeepInfer — опенсорс-фреймворк для инференса
DeepSeek опубликовала DeepInfer — фреймворк, на котором работают её продакшн-сервисы. Проект распространяется под лицензией Apache-2.0 и включает оптимизированные кернелы, поддержку MoE, спекулятивный декодинг, детерминистичный режим и structured outputs.
DeepSeek опять напомнили всем, что они короли опенсорса, и выложили движок, на котором крутят свой инференс
Стартап опубликовал DeepInfer — фреймворк, на котором работают его продакшн-сервисы. Лицензия — Apache-2.0.
В основе — собственные оптимизированные кернелы (FlashMLA, DeepGEMM, DeepEP и др.), параллелизм под MoE-архитектуру и асинхронный планировщик, который готовит следующий батч, пока устройство считает текущий. Помимо этого, в проекте есть набор функций для оптимизации и просто интересных возможностей, которые можно забрать себе. Например:
Спекулятивный декодинг. Модель генерирует несколько draft-токенов, а затем проверяет их разом, решая, какие пропустить в итоговый ответ, а какие надо переделать. Это ускоряет и удешевляет инференс.
Схема детерминизма для отладки пайплайнов и эвалов поверх LLM. Фишка в том, что, в отличие от обычного режима работы модели, тут одинаковый вход и параметры дают всегда одинаковый результат вне зависимости от нагрузки и состава батча.
Structured outputs. С его помощью можно жёстко ограничить генерацию JSON, регуляркой или EBNF.
Также под лицензией MIT выложили deepseek-recipe — то есть схему, по которой запрос от клиента превращается в то, что понимает модель, а ответ модели обратно в то, что ждёт клиент (на этом довольно часто ломается самостоятельный хостинг открытых весов). Есть Python-биндинг, для практики очень полезная вещь.
Почему это важно
АналитикаПубликация DeepInfer и deepseek-recipe показывает, как DeepSeek оптимизирует собственный инференс и делает эти инструменты доступными сообществу. Это может ускорить и удешевить self-hosting открытых моделей.
Обсудить в сообществе
Делитесь опытом и мыслями с ИИ-разработчиками
Связанные материалы экосистемы
Практические гайды, терминология и агентские скиллы
DeepSeek открыла исходный код движка инференса DeepInfer
DeepInfer — открытый движок инференса для масштабного обслуживания V4.1-Flash, ускоряющий обработку запросов и снижающий затраты.
DeepSeek 4.1-1017 почти достигла уровня Opus 5
DeepSeek выпустила модель 4.1-1017 с улучшенным кодом, агентами и мультимодальностью, которая почти сравнялась с Opus 5 и остается дешевой в API.
DeepSeek (Китайский прорыв в открытом ИИ)
Серия прорывных открытых моделей от китайской лаборатории DeepSeek (V3, R1). Демонстрирует высший уровень в кодировании и рассуждении по цене в 10–20 раз ниже, чем западные коммерческие аналоги.
Масштабирование Обчислений Во Время Инференса
Новая парадигма развития ИИ к концу 2026 года: повышение качества ответов не за счет гигантских размеров моделей во время обучения, а за счет выделения дополнительных секунд на размышления перед генерацией.
Jev и System One AI: полное практическое руководство по модели решений от TypeSafe
Глубокий инженерный разбор флагманской модели Jev: архитектура System One против LLM, примитивы Choice/Score/Noul, параллелизм запросов, математика уверенности, видео-кейсы, код и обзор локальных open-weight альтернатив (Laya, GLiNER2.5, CLM-8B).
Часть I. Архитектура ИИ-агентов: фундаментальные блоки
Одиннадцать фундаментальных строительных блоков современного ИИ-агента: таксономия моделей, агентный рантайм, техники промптинга, дистилляция, архитектура навыков (skills), память, function calling и FinOps.