Квантизация (Model Quantization)

1. Обзор концепции и системная проблема

Оригинальные языковые модели обучаются в формате чисел с плавающей запятой высокой точности (FP16 или BF16), где каждый вариативный параметр занимает 16 бит (2 байта). Для запуска современной открытой модели на 70 миллиардов параметров (например, Llama 3.3 70B) только для загрузки статических весов необходимо: $$70 \times 10^9 \times 2 \text{ байты} \approx 140 \text{ ГБ VRAM}$$

Это делает инференс невозможным на потребительском железе: инженеру нужен сервер с как минимум двумя видеокартами уровня NVIDIA A100 (80GB), стоимостью более $30,000. Более того, скорость генерации токенов ограничивается пропускной способностью шины памяти (Memory Bandwidth), которая вынуждена перекачивать 140 ГБ данных на каждый сгенерированный символ.

Model Quantization (квантизация моделей) — это математический метод оптимизации и сжатия нейросетей. Вместо 16-битных чисел веса отображаются в 8-битные, 4-битные или даже 2-битные целые числа или оптимизированные форматы с плавающей запятой. Квантизация сжимает модель в 2–4 раза, позволяя запускать 70B модели на доступных видеокартах или ноутбуках с практически нулевой потерей качества кодогенерации.

2. Архитектурная таксономия и ментальная модель

Ландшафт технологий квантизации классифицируется по глубине анализа и целевому аппаратному окружению:

┌─────────────────────────────────────────────────────────────┐
│                 QUANTIZATION METHODS TAXONOMY               │
├─────────────────────────────────────────────────────────────┤
│ 1. Post-Training Quantization (PTQ - Без повторного обучения)│
├─────────────────┬───────────────────────────┬───────────────┤
│ GGUF (K-quants) │ AWQ (Activation-aware)    │ FP8 (Native)  │
│ • llama.cpp     │ • Защита 1% важных весов  │ • NVIDIA Ada/ │
│ • CPU / Metal   │ • NVIDIA Tensor Cores     │   Hopper/vLLM │
│ • Q4_K_M, Q5_K  │ • 4-битный инференс (W4A16│ • Zero loss   │
├─────────────────┴───────────────────────────┴───────────────┤
│ 2. Quantization-Aware Training (QAT - Обучение со сжатием)   │
└─────────────────────────────────────────────────────────────┘

1. GGUF K-Quants (Экосистема llama.cpp):
   • Использует блочное масштабирование (Block-wise scaling). Важные слои внимания сохраняются в более высокой разрядности (5–6 бит), а менее критичные слои Feed-Forward — в 4 битах. Идеально подходит для Apple Silicon (Metal) и системной оперативной памяти.
2. AWQ (Activation-Aware Weight Quantization):
   • Определяет наиболее чувствительные к ошибкам веса («Outlier Weights», около 1% от общего объема) на основе калибровочного датасета и оставляет их без агрессивного квантизации. Это устраняет разрушение логики в 4-битных моделях на графических картах NVIDIA.
3. Аппаратный формат FP8 (E4M3 / E5M2):
   • Нативный 8-битный формат чисел с плавающей запятой, поддерживаемый на аппаратном уровне чипами NVIDIA H100 и RTX 4090. Обеспечивает двойное ускорение вычислений матриц (GEMM) без какой-либо потери перплексии.
4. Квантизация KV-кэша (KV Cache Quantization):
   • Сжатие истории контекста с FP16 до INT8 или INT4, что позволяет удерживать окна контекста на 128k токенов без переполнения памяти.

3. Технический пайплайн и внутренняя механика

Жизненный цикл пост-тренировочной квантизации модели:

1. Анализ исходных весов (FP16 Base Model): Скрипт считывает тензоры в формате SafeTensors с высокой точностью.
2. Калибровка распределения (Calibration Phase): Через модель пропускается небольшая выборка текста (например, 512 последовательностей кода). Алгоритм фиксирует амплитуду активаций в каждом слое.
3. Математическое масштабирование и смещение: Диапазон действительных чисел $[x_{\min}, x_{\max}]$ отображается в дискретный целочисленный диапазон (например, $[-8, 7]$ для INT4): $$q = \text{round}\left(\frac{x}{S}\right) + Z$$ где $S$ — масштабный коэффициент (Scale), а $Z$ — нулевая точка (Zero-point).
4. Упаковка в бинарный контейнер: Квантованные веса упаковываются по блокам (например, по 32 или 256 чисел) вместе с их локальными коэффициентами масштабирования и сохраняются в файл .gguf или .safetensors.
5. Де-квантизация на лету (On-the-fly Dequantization): Во время генерации токенов ядра ускорителя мгновенно считывают сжатые 4-битные веса из памяти и распаковывают их в регистрах для быстрого умножения.

4. Практические инженерные сценарии в продакшене

01. Развертывание Llama 3.3 70B на двух потребительских видеокартах

Инженер строит корпоративный сервер для команды разработчиков:

• Оригинальная FP16 модель требует 140 ГБ VRAM (необходим дорогой сервер с 8x GPU).
• После квантизации в AWQ 4-bit размер модели сокращается до 38 ГБ.
• Модель свободно помещается в связке двух карт RTX 3090 (24 ГБ + 24 ГБ = 48 ГБ VRAM), обеспечивая скорость 30 токенов/с для всей команды за бюджет в $1,500.

02. Высоконагруженный сервинг на кластере H100 в формате FP8

Финтех-компания обрабатывает тысячи запросов в секунду через vLLM:

• Модели переводятся в формат FP8.
• Пропускная способность кластера удваивается за счет аппаратных блоков FP8 Tensor Cores, а затраты на аренду облака AWS/Lambda Labs падают на 50%.

03. Запуск 32B модели кодирования на MacBook Pro

Разработчик запускает Qwen 2.5 Coder 32B в дороге:

• Файл формата qwen2.5-coder-32b-instruct-q4_k_m.gguf занимает всего 19 ГБ на диске.
• Модель загружается в объединенную память ноутбука (36 ГБ RAM), потребляя минимум энергии аккумулятора при высокой скорости ответа.

5. Подводные камни, типовые ошибки и безопасность

• Экстремальное избыточное квантизация (Quantization Cliff): Попытка сжать модель ниже 3 бит (например, Q2_K) приводит к резкому срыву семантики: модель начинает пропускать закрывающие скобки в коде, генерировать бесконечные циклы и терять контекст.
• Ошибка выбора формата под конкретное железо: Попытка запустить GGUF-модели на кластере серверных видеокарт под высоким многопоточным нагрузкой будет значительно медленнее, чем использование специализированных движков vLLM с форматом AWQ или FP8.
• Потеря точности в критических математических вычислениях: Если модель используется для сложных численных симуляций, наивное 4-битное квантизация может накапливать ошибку округления в выходных расчетах.
• Некорректные калибровочные данные: Если модель квантовалась с использованием калибровочного датасета, где была только художественная литература на английском, ее навыки написания кода на Rust или понимания украинского языка могут существенно пострадать.