DeepSeek випустила DeepInfer — опенсорс-фреймворк для інференсу ШІ-моделей
DeepSeek опублікувала Apache-2.0 фреймворк DeepInfer, на якому працюють її продакшн-сервіси. Він містить оптимізовані кернели, підтримку MoE, спекулятивний декодинг, детерміністичний режим та структурований вивід.
DeepSeek випустила DeepInfer — опенсорс-фреймворк для інференсу ШІ-моделей
DeepSeek опублікувала DeepInfer — фреймворк, на якому працюють її продакшн-сервіси. Проєкт поширюється під ліцензією Apache-2.0.
В основі — власні оптимізовані кернели (FlashMLA, DeepGEMM, DeepEP та інші), паралелізм під MoE-архітектуру та асинхронний планувальник, який готує наступний батч, поки пристрій обробляє поточний.
Серед ключових можливостей:
- Спекулятивний декодинг. Модель генерує кілька draft-токенів, а потім перевіряє їх разом, вирішуючи, які можна включити в остаточну відповідь, а які треба перегенерувати. Це прискорює та здешевлює інференс.
- Детерміністичний режим для налагодження. На відміну від звичайного режиму роботи моделі, однакові вхідні дані й параметри дають однаковий результат незалежно від навантаження та складу батчу. Це корисно для пайплайнів і евалів поверх LLM.
- Структурований вивід. Генерацію можна жорстко обмежити JSON, регулярним виразом або EBNF.
Окремо під ліцензією MIT опубліковано deepseek-recipe — схему, за якою запит від клієнта перетворюється на формат, який розуміє модель, а відповідь моделі — на формат, який очікує клієнт. Саме на цьому часто ламається самостійний хостинг відкритих ваг. Для роботи з цим є Python-біндінг.
Чому це важливо
АналітикаDeepInfer показує, як DeepSeek оптимізує інференс власних ШІ-сервісів і відкриває ці інструменти розробникам. Це може підвищити продуктивність локального хостингу LLM та знизити вартість виведення.
Обговорити новину у спільноті
Діліться своїм досвідом та думками з ШІ-розробниками
Пов'язані матеріали екосистеми
Практичні гайди, термінологія та агентські скіли
DeepSeek відкрила вихідний код DeepInfer — рушія інференсу
DeepInfer — оптимізований рушій інференсу для обслуговування V4.1-Flash, який прискорює обробку запитів і зменшує витрати.
DeepSeek 4.1-1017: нова модель майже досягла рівня Opus 5
DeepSeek випустила модель 4.1-1017 з покращеним кодом, агентами та мультимодальністю, яка майже наздогнала Opus 5 і залишається дешевою в API.
DeepSeek (Китайський прорив у відкритому ШІ)
Серія проривних відкритих моделей від китайської лабораторії DeepSeek (V3, R1). Демонструє найвищий рівень у кодингу та міркуванні за вартістю у 10–20 разів нижчою за західні комерційні аналоги.
vLLM (Високопродуктивний рушій інференсу)
Провідний відкритий серверний рушій інференсу та обслуговування LLM, що здійснив революцію у пропускній здатності завдяки алгоритму віртуалізації пам'яті PagedAttention та неперервному батчингу.
Jev та System One AI: повний практичний гайд по моделі рішень від TypeSafe
Глибокий інженерний розбір флагманської моделі Jev: архітектура System One проти LLM, примітиви Choice/Score/Noul, паралелізм запитів, математика впевненості, відео-кейси, код та огляд локальних open-weight альтернатив (Laya, GLiNER2.5, CLM-8B).
Частина I. Архітектура ШІ-агентів: фундаментальні блоки
Десять фундаментальних блоків сучасного агента: таксономія моделей, рантайм-петля, техніки промптингу, дистиляція, навички (skills), пам'ять, function calling та юніт-економіка.