AWQ & Activation-Aware GPU Quantization(Активаційне квантування під GPU (AWQ та GPTQ))

1. Огляд концепції та системна проблема

При спробі запустити повнорозмірну модель FP16 на сервері інженери впираються в жорсткі економічні обмеження:

• Оренда сервера з 4x H100 коштує $10–$15 на годину ($7 000+ на місяць).
• Якщо просто округлити ваги до 4 біт наївним способом (Uniform Quantization), модель починає плутати базовий синтаксис коду, втрачає здатність до логіки і галюцинує на кожному кроці.

AWQ (Activation-aware Weight Quantization) та GPTQ вирішили цю проблему на математичному рівні. Вони довели, що не всі ваги нейромережі однаково важливі: захистивши від грубого стиснення лише 1% найбільш значущих каналів ваг, можна стиснути решту 99% моделі до 4 біт із практично нульовою втратою вихідної якості (Perplexity).

2. Архітектурна таксономія та ментальна модель

┌─────────────────────────────────────────────────────────────┐
│                 AWQ MECHANISM: SALIENT CHANNELS             │
├─────────────────────────────────────────────────────────────┤
│ 1. Forward Pass Observation with Calibration Dataset:       │
│    • Вимірювання величини активацій $X$ через шари мережі   │
├─────────────────────────────────────────────────────────────┤
│ 2. Identification of 1% Salient Weights:                    │
│    • Ваги з найбільшим впливом на фінальний результат       │
├─────────────────────────────────────────────────────────────┤
│ 3. Per-Channel Scaling & Protection:                        │
│    • Масштабування чутливих каналів перед квантуванням      │
│    • Захист від втрати точності без оверхеду на інференсі   │
├─────────────────────────────────────────────────────────────┤
│ 4. Hardware Compilation:                                    │
│    • Спеціальні CUDA-ядра: W4A16 (Ваги: INT4, Активації:FP16)│
│    • Миттєва деквантизація на регістрах GPU                 │
└─────────────────────────────────────────────────────────────┘

3. Практичні інженерні сценарії в продакшені

01. Розгортання Llama 3.3 70B на одній карті RTX 6000 Ada (48GB)

Завдяки формату AWQ модель 70B займає 36 ГБ VRAM, залишаючи ще 12 ГБ під KV-кеш для довгих контекстів. Це дозволяє команді тримати власний повноцінний сервер кодингу на одній відносно доступній відеокарті.

02. Промисловий інференс у кластері vLLM

Запуск моделі у форматі AWQ з автоматичним вибором тензорного паралелізму:

vllm serve casperhansen/llama-3.3-70b-instruct-awq \
  --quantization awq \
  --dtype float16 \
  --max-model-len 32768

4. Підводні камені, типові помилки та безпека

• Overfitting калібрувального датасету: Якщо AWQ квантування проводилося на текстах загальної тематики, а ви використовуєте модель виключно під складний Rust-код, чутливі ваги для коду могли бути розраховані невірно. Обирайте моделі, квантовані на змішаних датасетах або з кодовими вибірками.
• Підтримка архітектури GPU: Ядра AWQ вимагають архітектури NVIDIA Turing, Ampere, Ada Lovelace або Hopper (Compute Capability >= 7.5). На застарілих картах на кшталт Pascal (GTX 1080) AWQ працювати не буде.

5. Стратегічний висновок для інженера 2026 року

AWQ є промисловим стандартом високопродуктивного хостингу на GPU. Знання принципів активаційного квантування дозволяє інженерам запускати моделі топового рівня з мінімальними апаратними витратами, максимізуючи прибутковість кожного інвестованого в інфраструктуру долара.