DeepSeek öffnet Quellcode von DeepInfer-Inferenz-Engine
DeepSeek öffnet Quellcode von DeepInfer-Inferenz-Engine
DeepInfer ist eine Open-Source-Inferenz-Engine für den großskaligen Betrieb von V4.1-Flash, die Anfragen beschleunigt und Kosten senkt.
DeepSeek hat den Quellcode von DeepInfer veröffentlicht, der Inferenz-Engine, die das Unternehmen für den großskaligen Einsatz von V4.1-Flash nutzt.
Der Code hilft, Anfragen an Modelle schneller zu bearbeiten und die Betriebskosten zu senken.
Für Unternehmen, die eigene KI-Dienste betreiben, kann DeepInfer sogar wertvoller sein als die Modellgewichte selbst.
Ein weiteres wichtiges Detail: Die Engine läuft nicht nur auf Nvidia-Chips, sondern auch auf Huawei.
Warum das wichtig ist
AnalyseFür selbst gehostete KI-Dienste kann Inferenzoptimierung ähnlich wichtig sein wie Modellgewichte; Huawei-Support erweitert die Hardwareoptionen.
In der Community diskutieren
Teile deine Fragen und Erkenntnisse mit Entwicklern
Verwandt im Ökosystem
Praktische Leitfäden, Terminologie und Agenten-Skills
DeepSeek veröffentlicht DeepInfer, ein Open-Source-Inferenz-Framework
DeepSeek hat DeepInfer veröffentlicht, ein Apache-2.0-Inferenz-Framework, das in seinen Produktionsdiensten eingesetzt wird. Es enthält optimierte Kernels, MoE-Parallelität, spekulatives Decoding, einen deterministischen Modus und strukturierte Ausgaben.
DeepSeek 4.1-1017 erreicht fast Opus-5-Niveau
DeepSeek hat 4.1-1017 veröffentlicht, ein verbessertes Modell für Code, Agenten, 3D und Vision, das fast mit Opus 5 gleichzieht und günstig bleibt.
vLLM (Hochleistungs-Inferenz-Engine)
Führende Open-Source-Server-Inferenz- und LLM-Serving-Engine, die den Durchsatz durch den PagedAttention-Memory-Virtualisierungsalgorithmus und Continuous Batching revolutioniert hat.
DeepSeek (Chinesischer Durchbruch im Bereich Open-Source-KI)
Eine Reihe bahnbrechender Open-Source-Modelle des chinesischen Labors DeepSeek (V3, R1). Sie demonstriert das höchste Niveau in Coding und Reasoning bei Kosten, die 10–20 Mal niedriger sind als bei westlichen kommerziellen Alternativen.
Jev und System One AI: Ein umfassender praktischer Leitfaden zum Entscheidungsmodell von TypeSafe
Tiefgehende technische Analyse des Flaggschiff-Modells Jev: Architektur von System One im Vergleich zu LLMs, Choice/Score/Noul-Primitiven, Anfrageparallelität, Unsicherheitsmathematik, Video-Anwendungsfälle, Code sowie Überblick über lokale Open-Weight-Alternativen (Laya, GLiNER2.5, CLM-8B).
Teil I. Architektur von KI-Agenten: Grundlegende Bausteine
Zehn grundlegende Bausteine eines modernen Agenten: Modell-Taxonomie, Runtime-Loop, Prompting-Techniken, Distillation, Skills, Memory, Function Calling und Unit Economics.