DeepSeek veröffentlicht DeepInfer, ein Open-Source-Inferenz-Framework
DeepSeek hat DeepInfer veröffentlicht, ein Apache-2.0-Inferenz-Framework, das in seinen Produktionsdiensten eingesetzt wird. Es enthält optimierte Kernels, MoE-Parallelität, spekulatives Decoding, einen deterministischen Modus und strukturierte Ausgaben.
DeepSeek veröffentlicht DeepInfer, ein Open-Source-Inferenz-Framework
DeepSeek hat DeepInfer veröffentlicht, das Inferenz-Framework, auf dem seine Produktionsdienste laufen. Das Projekt steht unter der Apache-2.0-Lizenz.
Im Kern nutzt DeepInfer eigene optimierte Kernels (FlashMLA, DeepGEMM, DeepEP und weitere), Parallelität für MoE-Architekturen sowie einen asynchronen Scheduler, der den nächsten Batch vorbereitet, während das Gerät den aktuellen verarbeitet.
Wichtige Funktionen:
- Spekulatives Decoding. Das Modell erzeugt mehrere Draft-Tokens und prüft sie gemeinsam, um zu entscheiden, welche in die finale Antwort übernommen werden und welche neu generiert werden müssen. Das beschleunigt und verbilligt die Inferenz.
- Deterministischer Debugging-Modus. Im Gegensatz zum normalen Betrieb liefern gleiche Eingaben und Parameter immer das gleiche Ergebnis, unabhängig von Last und Batch-Zusammensetzung. Das ist nützlich für Pipelines und Evaluations über LLMs.
- Strukturierte Ausgaben. Die Generierung kann strikt auf JSON, reguläre Ausdrücke oder EBNF beschränkt werden.
Zusätzlich wurde unter MIT-Lizenz deepseek-recipe veröffentlicht. Es beschreibt, wie eine Client-Anfrage in ein vom Modell verstandenes Format umgewandelt wird und wie die Modellantwort wieder in das vom Client erwartete Format überführt wird. Genau diese Schicht ist häufig der Punkt, an dem Self-Hosting offener Gewichte scheitert. Ein Python-Binding ist ebenfalls vorhanden.
Warum das wichtig ist
AnalyseDie Veröffentlichung zeigt produktionsnahe Inferenzoptimierungen von DeepSeek und kann Entwicklern helfen, lokale oder self-hosted LLM-Deployments schneller, stabiler und günstiger zu machen.
In der Community diskutieren
Teile deine Fragen und Erkenntnisse mit Entwicklern
Verwandt im Ökosystem
Praktische Leitfäden, Terminologie und Agenten-Skills
DeepSeek öffnet Quellcode von DeepInfer-Inferenz-Engine
DeepInfer ist eine Open-Source-Inferenz-Engine für den großskaligen Betrieb von V4.1-Flash, die Anfragen beschleunigt und Kosten senkt.
DeepSeek 4.1-1017 erreicht fast Opus-5-Niveau
DeepSeek hat 4.1-1017 veröffentlicht, ein verbessertes Modell für Code, Agenten, 3D und Vision, das fast mit Opus 5 gleichzieht und günstig bleibt.
DeepSeek (Chinesischer Durchbruch im Bereich Open-Source-KI)
Eine Reihe bahnbrechender Open-Source-Modelle des chinesischen Labors DeepSeek (V3, R1). Sie demonstriert das höchste Niveau in Coding und Reasoning bei Kosten, die 10–20 Mal niedriger sind als bei westlichen kommerziellen Alternativen.
Open Weights vs. Truly Open Source AI
Rechtliche und ingenieurtechnische Analyse des fundamentalen Unterschieds zwischen verfügbaren Modellgewichten (Llama, DeepSeek) und vollständig offenen Projekten mit Quellcode, Daten und Architektur gemäß dem OSI-Standard.
Jev und System One AI: Ein umfassender praktischer Leitfaden zum Entscheidungsmodell von TypeSafe
Tiefgehende technische Analyse des Flaggschiff-Modells Jev: Architektur von System One im Vergleich zu LLMs, Choice/Score/Noul-Primitiven, Anfrageparallelität, Unsicherheitsmathematik, Video-Anwendungsfälle, Code sowie Überblick über lokale Open-Weight-Alternativen (Laya, GLiNER2.5, CLM-8B).
Teil I. Architektur von KI-Agenten: Grundlegende Bausteine
Zehn grundlegende Bausteine eines modernen Agenten: Modell-Taxonomie, Runtime-Loop, Prompting-Techniken, Distillation, Skills, Memory, Function Calling und Unit Economics.