DeepSeek udostępnia DeepGEMM: biblioteka open-source do przyspieszania operacji macierzowych na GPU
DeepSeek opublikował DeepGEMM, otwartoźródłową bibliotekę optymalizującą operacje macierzowe dla modeli językowych na kartach NVIDIA Hopper i Blackwell.
Firma DeepSeek wypuściła DeepGEMM, otwartoźródłową bibliotekę służącą do przyspieszania obliczeń na procesorach graficznych, które stanowią podstawę działania modeli AI. Narzędzie to optymalizuje operacje macierzowe wykorzystywane przez duże modele językowe (LLM), zwiększając ich wydajność na kartach graficznych z architekturami NVIDIA Hopper oraz Blackwell.
Biblioteka obsługuje formaty danych FP8, FP4 oraz BF16. Zawiera ona dedykowane optymalizacje dla architektur typu Mixture-of-Experts (MoE), umożliwia nakładanie się wymiany danych między GPU z obliczeniami oraz kompiluje jądra (kernels) w czasie rzeczywistym, co eliminuje konieczność osobnej kompilacji CUDA podczas instalacji.
Według informacji podanych przez DeepSeek, DeepGEMM osiąga wydajność równą lub wyższą niż wyspecjalizowane, ręcznie zoptymalizowane biblioteki dla wielu rozmiarów macierzy.
Dlaczego to ważne
AnalizaEfektywne jądra macierzowe mogą znacząco obniżyć koszty treningu i wnioskowania modeli LLM, szczególnie przy użyciu nowoczesnych kart NVIDIA oraz architektur Mixture-of-Experts.
Dyskutuj w społeczności
Dziel się swoimi pytaniami i spostrzeżeniami z programistami