DeepSeek відкрила вихідний код DeepInfer — рушія інференсу
DeepSeek відкрила вихідний код DeepInfer — рушія інференсу
DeepInfer — оптимізований рушій інференсу для обслуговування V4.1-Flash, який прискорює обробку запитів і зменшує витрати.
DeepSeek опублікувала вихідний код DeepInfer — рушія інференсу, який використовується для масштабного запуску моделі V4.1-Flash.
Завдяки цьому коду вдається швидше обслуговувати запити до моделей і знижувати витрати на їх експлуатацію.
Для компаній, які розгортають власні ШІ-сервіси, DeepInfer може мати навіть більшу цінність, ніж самі ваги моделі.
Окремо відзначається, що рушій працює не лише на чипах Nvidia, а й на Huawei.
Чому це важливо
АналітикаДля власних ШІ-сервісів оптимізація інференсу може важити більше, ніж ваги моделі. Підтримка Huawei також розширює вибір апаратного забезпечення.
Обговорити новину у спільноті
Діліться своїм досвідом та думками з ШІ-розробниками
Пов'язані матеріали екосистеми
Практичні гайди, термінологія та агентські скіли
DeepSeek випустила DeepInfer — опенсорс-фреймворк для інференсу ШІ-моделей
DeepSeek опублікувала Apache-2.0 фреймворк DeepInfer, на якому працюють її продакшн-сервіси. Він містить оптимізовані кернели, підтримку MoE, спекулятивний декодинг, детерміністичний режим та структурований вивід.
DeepSeek 4.1-1017: нова модель майже досягла рівня Opus 5
DeepSeek випустила модель 4.1-1017 з покращеним кодом, агентами та мультимодальністю, яка майже наздогнала Opus 5 і залишається дешевою в API.
DeepSeek (Китайський прорив у відкритому ШІ)
Серія проривних відкритих моделей від китайської лабораторії DeepSeek (V3, R1). Демонструє найвищий рівень у кодингу та міркуванні за вартістю у 10–20 разів нижчою за західні комерційні аналоги.
vLLM (Високопродуктивний рушій інференсу)
Провідний відкритий серверний рушій інференсу та обслуговування LLM, що здійснив революцію у пропускній здатності завдяки алгоритму віртуалізації пам'яті PagedAttention та неперервному батчингу.
Jev та System One AI: повний практичний гайд по моделі рішень від TypeSafe
Глибокий інженерний розбір флагманської моделі Jev: архітектура System One проти LLM, примітиви Choice/Score/Noul, паралелізм запитів, математика впевненості, відео-кейси, код та огляд локальних open-weight альтернатив (Laya, GLiNER2.5, CLM-8B).
Частина I. Архітектура ШІ-агентів: фундаментальні блоки
Десять фундаментальних блоків сучасного агента: таксономія моделей, рантайм-петля, техніки промптингу, дистиляція, навички (skills), пам'ять, function calling та юніт-економіка.