DeepSeek udostępnił DeepInfer — framework do inferencji open source

DeepSeek udostępnił DeepInfer — framework do inferencji open source

DeepSeek opublikował DeepInfer — framework do inferencji, na którym działają jego usługi produkcyjne. Projekt jest dostępny na licencji Apache-2.0.

W jego podstawie znajdują się własne, zoptymalizowane kernely (FlashMLA, DeepGEMM, DeepEP i inne), równoległość dostosowana do architektur MoE oraz asynchroniczny scheduler, który przygotowuje następną partię, gdy urządzenie przetwarza bieżącą.

Kluczowe funkcje:

• Spekulatywne dekodowanie. Model generuje kilka tokenów roboczych, a następnie weryfikuje je razem, decydując, które można włączyć do finalnej odpowiedzi, a które trzeba wygenerować ponownie. To przyspiesza i obniża koszt inferencji.
• Deterministyczny tryb debugowania. W przeciwieństwie do zwykłego trybu pracy modelu, te same dane wejściowe i parametry zawsze dają ten sam wynik, niezależnie od obciążenia i składu partii. Jest to przydatne przy debugowaniu pipeline’ów i ewaluacji opartych na LLM.
• Ustrukturyzowane wyjścia. Generowanie można ściśle ograniczyć do JSON-a, wyrażenia regularnego lub EBNF.

Osobno na licencji MIT udostępniono deepseek-recipe — schemat opisujący, jak zapytanie klienta jest przekształcane w format rozumiany przez model, a odpowiedź modelu jest zwracana w formacie oczekiwanym przez klienta. To właśnie na tym etapie często psuje się self-hosting otwartych wag. Dostępny jest też binding w Pythonie.