DeepSeek veröffentlicht vollständig offene Stack zur Beschleunigung der LLM-Generierung
DeepSeek veröffentlicht vollständig offene Stack zur Beschleunigung der LLM-Generierung
DeepSeek hat einen offenen Software-Stack für die Large Language Model (LLM)-Generierung vorgestellt, der das DSpark-Algorithmus enthält und die Generierungsgeschwindigkeit erheblich steigert.
Der neue Stack umfasst fertige Algorithmen, Trainings- und Evaluationsmodule sowie eine Datenpipeline. Er ist direkt über GitHub verfügbar: github.com/deepseek-ai/DeepSpec.
Das Kernstück bildet der DSpark-Algorithmus. DeepSeek setzt diesen bereits produktiv für die Modelle DeepSeek-V4 Flash und Pro ein. Laut den vom Unternehmen bereitgestellten Daten konnte die Generierungsgeschwindigkeit für Nutzer im Vergleich zum alten Baseline um ca. 60–85 % gesteigert werden.
Funktionsweise des Algorithmus:
Im Grunde handelt es sich um ein kleines Modell, das Entwürfe für das Haupt-LLM erstellt. Dieses wird als Draft-Modell bezeichnet.
Dieser Ansatz ist derzeit verbreitet, doch DeepSeek hebt ihn auf ein neues Niveau. Ihr Draft-Modell arbeitet ungewöhnlich in zwei Stufen: Zunächst werden Token-Blöcke parallel gesammelt, anschließend verfeinert ein leichtgewichtiges Markov-Modul die Abhängigkeiten zwischen benachbarten Tokens. Dadurch arbeitet der Drafter schnell und weist keine signifikanten Leistungseinbrüche bei langen Sequenzen auf.
Nachdem der Drafter einen Entwurf skizziert hat, überprüft das Haupt-LLM diesen und akzeptiert nur das korrekte Präfix, während der Rest angepasst wird. Dabei entscheidet DSpark selbstständig, wie viele Tokens zur Verifikation gesendet werden sollen, basierend auf Konfidenzschätzungen für die Tokens und der aktuellen Hardware-Auslastung.
Ergebnis: Eine Beschleunigung von mindestens dem 1,5-fachen ohne Qualitätsverlust. Ein bemerkenswertes Open-Source-Projekt von DeepSeek.
Warum das wichtig ist
AnalyseDieser neue Stack könnte Ansätze zur LLM-Generierung grundlegend verändern, indem er die Verarbeitungszeit reduziert, ohne Qualität einzubüßen – ein entscheidender Vorteil für Entwickler und Unternehmen in diesem Bereich.
In der Community diskutieren
Teile deine Fragen und Erkenntnisse mit Entwicklern
Verwandt im Ökosystem
Praktische Leitfäden, Terminologie und Agenten-Skills
Synthetische Datengenerierung & Pretraining
Technologie zur Generierung, automatischen Filterung und formalen Verifizierung von Trainingsdatensätzen mittels künstlicher Intelligenz zur Überwindung des Mangels an hochwertigen menschlichen Daten.
Moonshot AI veröffentlicht Kimi-K3.1-Pro-Gewichte auf Hugging Face
Moonshot AI hat die Gewichte des Modells Kimi K3.1 Pro auf Hugging Face veröffentlicht, doch der lokale Betrieb erfordert extrem leistungsstarke und teure Hardware.
Teil I. Architektur von KI-Agenten: Grundlegende Bausteine
Zehn grundlegende Bausteine eines modernen Agenten: Modell-Taxonomie, Runtime-Loop, Prompting-Techniken, Distillation, Skills, Memory, Function Calling und Unit Economics.
Teil II. Architektur von KI-Agenten: Vom Modell zu Gedächtnis und Tools
Tiefes technisches Eintauchen: Tokenisierung, KV-Cache, Determinismus beim Sampling, Trainings-Stack, Quantisierung, Kontext-Engineering, Security-Stack, produktives RAG, ReAct sowie Multi-Agenten-Swarm-Systeme.