DeepSeek veröffentlicht DeepGEMM: Open-Source-Bibliothek zur Beschleunigung von GPU-Matrixoperationen für KI-Modelle

DeepSeek hat DeepGEMM als Open Source freigegeben, eine Bibliothek zur Optimierung von Matrixberechnungen in großen Sprachmodellen mit Unterstützung für NVIDIA Hopper und Blackwell.
DeepSeek hat DeepGEMM veröffentlicht, eine Open-Source-Bibliothek, die die GPU-Berechnungen beschleunigt, auf denen KI-Modelle basieren. Die Software optimiert die Matrixoperationen großer Sprachmodelle (LLMs) und verbessert die Effizienz auf NVIDIA-Hopper- und -Blackwell-GPUs.
Die Bibliothek unterstützt die Datentypen FP8, FP4 und BF16. Sie enthält Optimierungen für Mixture-of-Experts-Architekturen, überlappt den Datenaustausch zwischen GPUs mit Berechnungsvorgängen und kompiliert Kernel zur Laufzeit. Dies eliminiert die Notwendigkeit eines separaten CUDA-Builds während der Installation.
Laut DeepSeek erreicht DeepGEMM bei einer Reihe von Matrixgrößen eine Leistung, die der von spezialisierten, expert-getunten Bibliotheken entspricht oder diese übertrifft.
Warum das wichtig ist
AnalyseEffiziente Matrix-Kernel können die Trainings- und Inferenzkosten für LLMs erheblich senken, insbesondere auf modernen NVIDIA-GPUs und in Mixture-of-Experts-Architekturen.
In der Community diskutieren
Teile deine Fragen und Erkenntnisse mit Entwicklern
Verwandt im Ökosystem
Praktische Leitfäden, Terminologie und Agenten-Skills
DeepSeek veröffentlicht Teil des Chat-Interfaces als Open Source
DeepSeek hat den Quellcode eines Teils seiner Chat-Oberfläche veröffentlicht, darunter Websuche, Deep-Thinking-Modus und Verlauf.
Open Weights vs. Truly Open Source AI
Rechtliche und ingenieurtechnische Analyse des fundamentalen Unterschieds zwischen verfügbaren Modellgewichten (Llama, DeepSeek) und vollständig offenen Projekten mit Quellcode, Daten und Architektur gemäß dem OSI-Standard.
Codync: Open-Source-Rust-Tool verwandelt KI-Agenten in Chatbots
Codync ist ein kostenloses Rust-Projekt, das mehr als 40 lokale KI-Agenten in Chatbots integriert und Steuerung von iPhone, Mac, Windows, Linux oder Terminal ermöglicht.
Frontier-Modelle
Die leistungsstärkste Klasse künstlicher Intelligenz an der Spitze der globalen Forschung (Claude 3.7 Sonnet, OpenAI o3/GPT-4.5, Gemini 2.0 Pro), die die Grenzen moderner Fähigkeiten in Bezug auf Reasoning, Autonomie und Coding definiert.