DeepSeek veröffentlicht vollständig offene Stack zur Beschleunigung der LLM-Generierung

Der neue Stack umfasst fertige Algorithmen, Trainings- und Evaluationsmodule sowie eine Datenpipeline. Er ist direkt über GitHub verfügbar: github.com/deepseek-ai/DeepSpec.

Das Kernstück bildet der DSpark-Algorithmus. DeepSeek setzt diesen bereits produktiv für die Modelle DeepSeek-V4 Flash und Pro ein. Laut den vom Unternehmen bereitgestellten Daten konnte die Generierungsgeschwindigkeit für Nutzer im Vergleich zum alten Baseline um ca. 60–85 % gesteigert werden.

Funktionsweise des Algorithmus:

• Im Grunde handelt es sich um ein kleines Modell, das Entwürfe für das Haupt-LLM erstellt. Dieses wird als Draft-Modell bezeichnet.

• Dieser Ansatz ist derzeit verbreitet, doch DeepSeek hebt ihn auf ein neues Niveau. Ihr Draft-Modell arbeitet ungewöhnlich in zwei Stufen: Zunächst werden Token-Blöcke parallel gesammelt, anschließend verfeinert ein leichtgewichtiges Markov-Modul die Abhängigkeiten zwischen benachbarten Tokens. Dadurch arbeitet der Drafter schnell und weist keine signifikanten Leistungseinbrüche bei langen Sequenzen auf.

• Nachdem der Drafter einen Entwurf skizziert hat, überprüft das Haupt-LLM diesen und akzeptiert nur das korrekte Präfix, während der Rest angepasst wird. Dabei entscheidet DSpark selbstständig, wie viele Tokens zur Verifikation gesendet werden sollen, basierend auf Konfidenzschätzungen für die Tokens und der aktuellen Hardware-Auslastung.

Ergebnis: Eine Beschleunigung von mindestens dem 1,5-fachen ohne Qualitätsverlust. Ein bemerkenswertes Open-Source-Projekt von DeepSeek.