DeepSeek lança DeepGEMM: biblioteca open-source para aceleração de matrizes em GPUs
A DeepSeek disponibilizou o DeepGEMM, uma biblioteca open-source que otimiza operações matriciais em GPUs NVIDIA Hopper e Blackwell para modelos de linguagem.
A DeepSeek lançou o DeepGEMM, uma biblioteca open-source projetada para acelerar os cálculos subjacentes a modelos de IA. O software otimiza as operações matriciais utilizadas por grandes modelos de linguagem (LLMs), melhorando significativamente a eficiência nas GPUs NVIDIA das arquiteturas Hopper e Blackwell.
A biblioteca oferece suporte aos formatos numéricos FP8, FP4 e BF16. Entre suas principais características estão as otimizações específicas para arquiteturas Mixture-of-Experts (MoE), a sobreposição da troca de dados entre GPUs com o processamento computacional e a compilação dinâmica de kernels em tempo de execução, eliminando a necessidade de um build separado do CUDA durante a instalação.
Segundo a DeepSeek, o DeepGEMM atinge níveis de desempenho iguais ou superiores aos de bibliotecas especializadas ajustadas manualmente para diversos tamanhos de matriz.
Por que isso importa
AnáliseKernels matriciais eficientes são cruciais para reduzir os custos de treinamento e inferência de LLMs, especialmente ao utilizar hardware moderno da NVIDIA e arquiteturas Mixture-of-Experts.
Debater na comunidade
Compartilhe suas dúvidas e insights com desenvolvedores