DeepSeek открыла DeepGEMM: библиотеку для ускорения матричных вычислений на GPU для ИИ-моделей

DeepSeek выложила в открытый доступ библиотеку DeepGEMM, которая ускоряет матричные вычисления на GPU для больших языковых моделей и поддерживает NVIDIA Hopper и Blackwell.
DeepSeek выложила в открытый доступ библиотеку DeepGEMM, которая ускоряет вычисления на GPU, лежащие в основе ИИ-моделей.
Она оптимизирует матричные операции, на которых работают большие языковые модели, и позволяет эффективнее использовать NVIDIA Hopper и Blackwell.
- Поддерживаются
FP8,FP4иBF16. - Есть оптимизации для моделей с архитектурой Mixture-of-Experts.
- Реализованы совмещение обмена данными между GPU с вычислениями и компиляция ядер прямо во время выполнения, без отдельной сборки CUDA при установке.
По данным DeepSeek, DeepGEMM на ряде размеров матриц показывает производительность на уровне или выше специализированных библиотек, вручную оптимизированных экспертами.
Почему это важно
АналитикаDeepGEMM может снизить стоимость обучения и инференса больших языковых моделей, особенно для команд, работающих с современными GPU NVIDIA и архитектурами Mixture-of-Experts.
Обсудить в сообществе
Делитесь опытом и мыслями с ИИ-разработчиками
Связанные материалы экосистемы
Практические гайды, терминология и агентские скиллы
DeepSeek открыла исходный код части интерфейса чата
DeepSeek опубликовала исходный код фрагмента интерфейса своего чата с поддержкой поиска, глубокого мышления и истории переписки.
Слияние Моделей и Франкенштейнинг
Техника объединения весов двух или более различных языковых моделей без повторного обучения на GPU (SLERP, DARE, Ties-Merging), создающая гибридные модели с синергетическими навыками.
Cloudflare открыла исходный код Kitesurf — браузера для ИИ-агентов
Cloudflare опубликовала исходный код Kitesurf — браузера без графического интерфейса на Rust и WebAssembly, созданного для ИИ-агентов и работы в Cloudflare Workers.
Jev и System One AI: полное практическое руководство по модели решений от TypeSafe
Глубокий инженерный разбор флагманской модели Jev: архитектура System One против LLM, примитивы Choice/Score/Noul, параллелизм запросов, математика уверенности, видео-кейсы, код и обзор локальных open-weight альтернатив (Laya, GLiNER2.5, CLM-8B).