DeepSeek lance DeepGEMM : une bibliothèque open source pour accélérer les opérations matricielles GPU des modèles d'IA
DeepSeek a publié DeepGEMM, une bibliothèque open source qui optimise les calculs matriciels sur GPU pour les grands modèles de langage. Elle prend en charge les architectures NVIDIA Hopper et Blackwell.
DeepSeek a dévoilé DeepGEMM, une bibliothèque open source conçue pour accélérer les calculs GPU sous-jacents aux modèles d'intelligence artificielle. Cet outil optimise les opérations matricielles utilisées par les grands modèles de langage (LLM) et améliore considérablement l'efficacité sur les cartes graphiques NVIDIA Hopper et Blackwell.
La bibliothèque prend en charge les formats de précision FP8, FP4 et BF16. Elle intègre des optimisations spécifiques pour les architectures Mixture-of-Experts (MoE), superpose l'échange de données inter-GPU avec le calcul, et compile les noyaux (kernels) à l'exécution. Cette dernière fonctionnalité élimine la nécessité d'une compilation CUDA séparée lors de l'installation.
Selon DeepSeek, DeepGEMM atteint des performances égales ou supérieures à celles de bibliothèques spécialisées et finement réglées par des experts pour un certain nombre de tailles de matrices.
Pourquoi c'est important
AnalyseDes noyaux matriciels efficaces permettent de réduire significativement les coûts d'entraînement et d'inférence des LLM, en particulier sur les GPU NVIDIA modernes et les architectures Mixture-of-Experts.
Discuter dans la communauté
Partagez vos questions et vos idées avec les développeurs