DeepSeek-V4.1-Flash з 763 млрд параметрів запускається локально на відеокарті з 12 ГБ
DeepSeek-V4.1-Flash з 763 млрд параметрів запускається локально на відеокарті з 12 ГБ
Дослідники IST Austria представили квантовану версію ШІ-моделі DeepSeek-V4.1-Flash, яку можна запустити на споживчих відеокартах з 12 ГБ відеопам'яті.
Дослідники австрійського інституту IST Austria представили квантовану версію ШІ-моделі DeepSeek-V4.1-Flash із 763 мільярдами параметрів, яку можна запустити локально навіть на відеокарті з 12 ГБ відеопам'яті.
Метод квантування GSQ-RCO та інференс-движок Strata дозволили використовувати модель на споживчих GPU.
Згідно з результатами випробувань:
RTX 5070 з 12 ГБ відеопам'яті та 64 ГБ оперативної пам'яті забезпечує близько 5 токенів на секунду під час генерації відповіді та до 231 токена на секунду під час обробки вхідного контексту. RTX 3060 з 12 ГБ відеопам'яті та 46 ГБ оперативної пам'яті досягає 8–10 токенів на секунду під час генерації відповіді та близько 149 токенів на секунду під час обробки вхідного контексту.
Для запуску потрібен значний обсяг оперативної пам'яті та щонайменше 239 ГБ вільного місця на накопичувачі, оскільки більшість ваг моделі зберігається в RAM і на SSD, звідки підвантажується за потреби.
Подібну швидкість важко назвати високою, а складні агентні задачі досі потребують суттєвих обчислювальних ресурсів. Водночас сама можливість запустити модель із 763 мільярдами параметрів на звичайному комп'ютері свідчить про істотний прогрес у квантуванні та оптимізації інференсу.
Чому це важливо
АналітикаЦе демонструє прогрес у квантуванні та оптимізації інференсу, хоча локальний запуск великих ШІ-моделей досі потребує значних ресурсів.
Обговорити новину у спільноті
Діліться своїм досвідом та думками з ШІ-розробниками
Пов'язані матеріали екосистеми
Практичні гайди, термінологія та агентські скіли
GGUF & Modern Quantization Standards
Універсальний бінарний формат файлів для зберігання та миттєвого завантаження квантованих мовних моделей на процесорах та відеокартах у llama.cpp, Ollama та LM Studio.
Apple Silicon MLX Framework
Нативна бібліотека машинного навчання від Apple, спроєктована для максимального використання уніфікованої пам'яті та графічних ядер чіпів серії M (M2/M3/M4) при запуску великих LLM.
Як запустити локальну LLM: налаштування, моделі та оптимізація
Повний посібник із запуску локальних нейромереж на власному ПК: апаратні вимоги, розгортання Ollama і Open WebUI, огляд Llama 3, Qwen 2.5, DeepSeek та квантування GGUF.
Як запустити DeepSeek-R1 локально безкоштовно на Mac, Windows і Linux
Втомилися від обмежень хмарних сервісів і постійних платежів за API DeepSeek-R1? Ви не самотні. Багато розробників, користувачів ШІ та дослідників хочуть повного контролю над своїми даними та робочими процесами.
Вийшла Kimi K3.1: велика ШІ-модель із 2,8 трлн параметрів
Kimi K3.1 заявлена як велика ШІ-модель із 2,8 трлн параметрів і 104 млрд активних параметрів; ваги ще не опубліковані, але їх обіцяють через кілька тижнів.
Kimi K3.1 Pro офіційно представлено: 3 трлн параметрів і вікно контексту на 1 млн токенів
Kimi представила першу ШІ-модель сімейства K3.1 із 3 трлн параметрів і вікном контексту на 1 млн токенів; повні ваги обіцяють опублікувати 4 листопада.