Квантування та формат GGUF(Квантування та GGUF: як стиснути гігантську модель у 4 рази без втрати розуму)

1. Огляд концепції та призначення

Коли лабораторії на кшталт Meta або Mistral завершують навчання нейромережі, її параметри зберігаються у надвисокій математичній точності (16-бітні числа з плаваючою комою — FP16). Модель на 8 мільярдів параметрів у такому вигляді важить близько 16 ГБ, а модель на 70 мільярдів — понад 140 ГБ! Жодна звичайна домашня відеокарта такий файл не відкриє.

Квантування (Quantization) — це математичне «округлення»:

• Замість запису чисел на кшталт 3.14159265 ми округлюємо їх до коротких 4-бітних цілих чисел від 0 до 15.
• Розмір моделі зменшується в 3–4 рази.
• Вона миттєво поміщається в пам'ять бюджетного ноутбука.

Головний принцип для розробника: MP3-стиснення для штучного інтелекту: розмір зменшується в рази, а людське вухо (чи користувач у чаті) майже не відчуває різниці.

2. Як числа стискаються під час квантування

ОРИГІНАЛ (FP16 - 16 біт на кожне число):
[ 0.8329104 ] [ -0.1982735 ] [ 0.0482910 ]
--> 16 ГБ розміру моделі (Потрібна серверна відеокарта)

        ▼ ПРОЦЕС КВАНТУВАННЯ (Зменшення розрядності)

КВАНТОВАНА ВЕРСІЯ (Q4_K_M - 4 біти на кожне число):
[ 13 ]        [ 2 ]          [ 7 ]
--> Лише 4.8 ГБ розміру моделі (Працює на домашній карті на 8 ГБ)

3. Таблиця вибору варіантів квантування

4. Практичний висновок

Якщо ви завантажуєте модель для локального чату в LM Studio чи через Ollama, завжди вибирайте версію з поміткою Q4_K_M або Q5_K_M. Це гарантує максимальну швидкість генерації при мінімальному навантаженні на ваше залізо.