DeepSeek-V4.1-Flash с 763 млрд параметров можно запустить локально на видеокарте с 12 ГБ
DeepSeek-V4.1-Flash с 763 млрд параметров можно запустить локально на видеокарте с 12 ГБ
Исследователи IST Austria представили квантованную версию DeepSeek-V4.1-Flash, которую можно запускать на потребительских видеокартах с 12 ГБ видеопамяти.
Теперь DeepSeek-V4.1-Flash с 763 миллиардами параметров можно запустить локально даже на видеокарте с 12 ГБ видеопамяти.
Исследователи из австрийского института IST Austria представили квантованную версию модели, используя метод GSQ-RCO, а разработчики движка инференса Strata обеспечили возможность её запуска на потребительских видеокартах.
Согласно результатам испытаний:
RTX 5070 с 12 ГБ видеопамяти и 64 ГБ оперативной памяти обеспечивает около 5 токенов в секунду при генерации ответа и до 231 токена в секунду при обработке входного контекста. RTX 3060 с 12 ГБ видеопамяти и 46 ГБ оперативной памяти достигает 8–10 токенов в секунду при генерации ответа и около 149 токенов в секунду при обработке входного контекста.
Однако для запуска потребуется значительный объём оперативной памяти и не менее 239 ГБ свободного места на накопителе, поскольку большая часть весов модели хранится в оперативной памяти и на SSD, откуда подгружается по мере необходимости.
Разумеется, подобную скорость трудно назвать высокой, а выполнение сложных агентных задач по-прежнему требует немалых вычислительных ресурсов.
Тем не менее сама возможность запустить модель с 763 миллиардами параметров на обычном компьютере свидетельствует о существенном прогрессе в области квантования и оптимизации инференса.
Почему это важно
АналитикаЭто показывает прогресс в квантовании и оптимизации инференса, хотя локальный запуск больших моделей ИИ по-прежнему требует значительных ресурсов.
Обсудить в сообществе
Делитесь опытом и мыслями с ИИ-разработчиками
Связанные материалы экосистемы
Практические гайды, терминология и агентские скиллы
GGUF и Современные Стандарты Квантизации
Универсальный бинарный формат файлов для хранения и мгновенной загрузки квантизированных языковых моделей на процессорах и видеокартах в llama.cpp, Ollama и LM Studio.
Apple Silicon MLX Framework
Нативная библиотека машинного обучения от Apple, спроектированная для максимального использования унифицированной памяти и графических ядер чипов серии M (M2/M3/M4) при запуске больших LLM.
Как запустить локальную LLM: настройка, модели и оптимизация
Полное руководство по запуску локальных нейросетей на своем ПК: системные требования, развертывание Ollama и Open WebUI, обзор Llama 3, Qwen 2.5, DeepSeek и квантование GGUF.
Как запустить DeepSeek-R1 локально бесплатно на Mac, Windows и Linux
Устали от ограничений облачных сервисов и постоянных платежей по API DeepSeek-R1? Вы не одиноки. Многие разработчики, пользователи ИИ и исследователи хотят полного контроля над своими данными и рабочими процессами.
Вышла Kimi K3.1: большая открытая модель с 2,8 трлн параметров
Kimi K3.1 позиционируется как очень большая открытая модель с 2,8 трлн параметров и 104 млрд активных параметров, но её веса пока не опубликованы.
ZCode бесплатно раздаёт токены для моделей GLM-5.3 и GLM-5.3-Flash
На китайский День программиста разработчики ZCode раздаются 500 млн токенов для GLM-5.3 и GLM-5.3-Flash; акция действует с 23 по 26 октября.