DeepSeek udostępnia DeepGEMM: biblioteka open-source do przyspieszania operacji macierzowych na GPU

DeepSeek opublikował DeepGEMM, otwartoźródłową bibliotekę optymalizującą operacje macierzowe dla modeli językowych na kartach NVIDIA Hopper i Blackwell.
Firma DeepSeek wypuściła DeepGEMM, otwartoźródłową bibliotekę służącą do przyspieszania obliczeń na procesorach graficznych, które stanowią podstawę działania modeli AI. Narzędzie to optymalizuje operacje macierzowe wykorzystywane przez duże modele językowe (LLM), zwiększając ich wydajność na kartach graficznych z architekturami NVIDIA Hopper oraz Blackwell.
Biblioteka obsługuje formaty danych FP8, FP4 oraz BF16. Zawiera ona dedykowane optymalizacje dla architektur typu Mixture-of-Experts (MoE), umożliwia nakładanie się wymiany danych między GPU z obliczeniami oraz kompiluje jądra (kernels) w czasie rzeczywistym, co eliminuje konieczność osobnej kompilacji CUDA podczas instalacji.
Według informacji podanych przez DeepSeek, DeepGEMM osiąga wydajność równą lub wyższą niż wyspecjalizowane, ręcznie zoptymalizowane biblioteki dla wielu rozmiarów macierzy.
Dlaczego to ważne
AnalizaEfektywne jądra macierzowe mogą znacząco obniżyć koszty treningu i wnioskowania modeli LLM, szczególnie przy użyciu nowoczesnych kart NVIDIA oraz architektur Mixture-of-Experts.
Dyskutuj w społeczności
Dziel się swoimi pytaniami i spostrzeżeniami z programistami
Powiązane w ekosystemie
Praktyczne poradniki, kluczowa terminologia i skille agentów
DeepSeek udostępnia kod części interfejsu czatu
DeepSeek opublikował kod źródłowy części interfejsu swojego czatu, w tym wyszukiwanie w internecie, tryb głębokiego myślenia i historię rozmów.
Codync: open-source’owe narzędzie Rust zamienia agentów AI w chatboty
Codync to darmowy projekt w Rust, który łączy ponad 40 lokalnych agentów AI w chatboty sterowane z iPhone’a, Maka, Windowsa, Linuksa lub terminala.
Otwarte wagi vs. zamknięte API (Open vs Closed AI)
Porównanie dwóch fundamentalnych filozofii udostępniania sztucznej inteligencji: otwartych wag (Open Weights – Llama, Mistral, DeepSeek), które można pobrać i uruchomić na własnym serwerze, versus zamkniętych chmurowych API (Closed API – OpenAI, Anthropic, Google), gdzie dostęp jest przyznawany wyłącznie poprzez subskrypcję.
Jev i System One AI: Kompletny praktyczny przewodnik po modelu decyzyjnym od TypeSafe
Głęboka analiza inżynieryjna flagowego modelu Jev: architektura System One w kontraście do LLM, prymitywy Choice/Score/Noul, równoległość zapytań, matematyka pewności, przypadki użycia wideo, kod oraz przegląd lokalnych alternatyw open-weight (Laya, GLiNER2.5, CLM-8B).