DeepSeek udostępnia w pełni otwarty stos do przyspieszania generowania LLM

Wewnątrz repozytorium znajdują się gotowe algorytmy, skrypty do trenowania i ewaluacji, a nawet kompletny pipeline danych. To wysoce praktyczne narzędzie dostępne pod adresem: github.com/deepseek-ai/DeepSpec

Sercem rozwiązania jest algorytm DSpark. DeepSeek wykorzystuje go już produkcyjnie w modelach DeepSeek-V4 Flash oraz Pro. Według oficjalnych danych firmy, prędkość generowania odpowiedzi dla użytkowników wzrosła o około 60–85% w porównaniu z poprzednim standardem.

Jak działa ten algorytm?

• Fundamentem działania jest mały model „draftujący” (draft model), który tworzy wstępne szkice dla głównego modelu LLM.

• Choć takie podejście staje się coraz popularniejsze, DeepSeek podnosi je na wyższy poziom. Ich draft model operuje dwuetapowo: najpierw równolegle zbiera blok tokenów, a następnie lekki moduł Markowa doprecyzowuje zależności między sąsiadującymi tokenami. Dzięki temu proces draftingu jest szybki i nie powoduje istotnego spadku jakości w dłuższych sekwencjach.

• Po przygotowaniu szkicu przez draftera, główny model LLM weryfikuje jego poprawność, akceptując tylko właściwy prefiks i korygując resztę. Algorytm DSpark dynamicznie decyduje, ile tokenów wysłać do weryfikacji, bazując na oszacowanej pewności co do poszczególnych tokenów oraz aktualnym obciążeniu sprzętowym.

Efektem jest przyspieszenie generowania o co najmniej 1,5-krotnie bez żadnej utraty jakości. Należy docenić DeepSeek za tak wartościową pracę w ramach open source.