DeepSeek veröffentlicht DeepGEMM: Open-Source-Bibliothek zur Beschleunigung von GPU-Matrixoperationen für KI-Modelle
DeepSeek hat DeepGEMM als Open Source freigegeben, eine Bibliothek zur Optimierung von Matrixberechnungen in großen Sprachmodellen mit Unterstützung für NVIDIA Hopper und Blackwell.
DeepSeek hat DeepGEMM veröffentlicht, eine Open-Source-Bibliothek, die die GPU-Berechnungen beschleunigt, auf denen KI-Modelle basieren. Die Software optimiert die Matrixoperationen großer Sprachmodelle (LLMs) und verbessert die Effizienz auf NVIDIA-Hopper- und -Blackwell-GPUs.
Die Bibliothek unterstützt die Datentypen FP8, FP4 und BF16. Sie enthält Optimierungen für Mixture-of-Experts-Architekturen, überlappt den Datenaustausch zwischen GPUs mit Berechnungsvorgängen und kompiliert Kernel zur Laufzeit. Dies eliminiert die Notwendigkeit eines separaten CUDA-Builds während der Installation.
Laut DeepSeek erreicht DeepGEMM bei einer Reihe von Matrixgrößen eine Leistung, die der von spezialisierten, expert-getunten Bibliotheken entspricht oder diese übertrifft.
Warum das wichtig ist
AnalyseEffiziente Matrix-Kernel können die Trainings- und Inferenzkosten für LLMs erheblich senken, insbesondere auf modernen NVIDIA-GPUs und in Mixture-of-Experts-Architekturen.
In der Community diskutieren
Teile deine Fragen und Erkenntnisse mit Entwicklern