Методи квантування LLM для запуску моделі 70B на одній GPU
У статті розглядаються п'ять методів квантування LLM, які дозволяють зменшити обсяг пам'яті для великих моделей, таких як 70B. Кожен метод має свої особливості у вирішенні проблеми вибросів під час квантування.
Методи квантування LLM для запуску моделі 70B на одній GPU
Модель 70B в FP16 вимагає близько 140 ГБ тільки під ваги. У 4-бітному форматі цей обсяг зменшується до 35 ГБ, що вже поміщається на одну відеокарту.
Але просте округлення значень не працює для великих моделей. Приблизно 0,1% прихованих розмірностей містять значення, які можуть бути до 20 разів більшими, ніж інші значення в тензорі, і вони ламають квантовочну сітку для всіх інших параметрів.
Кожен з цих п'яти методів вирішує проблему вибросів на різному етапі:
RTN (Round-To-Nearest)
Ігнорує проблему.
Кожен ваг просто округляється до найближчого рівня квантування без використання калібрувальних даних.
Найдешевший варіант, але найслабший при низькій розрядності.GPTQ
Виправляє наслідки округлення.
Квантує шар за шаром, стовпець за стовпцем, і після кожного кроку коригує залишкові ваги, щоб компенсувати виниклу помилку, перш ніж перейти далі.AWQ (Activation-aware Weight Quantization)
Захищає важливі ваги до округлення.
Знаходить приблизно 1% каналів ваг, які мають найбільший вплив, і масштабує їх так, щоб вони краще пережили квантування.
При цьому остаточна модель все ще повністю працює в звичайному INT4.LLM.int8()
Ізолює виброси під час інференсу.
Розмірності з вибросами виконуються в FP16, а інші 99,9% параметрів працюють в INT8. Потім результати об'єднуються.QAT (Quantization-Aware Training)
Вирішує проблему ще під час навчання.
Модель дообучається з урахуванням квантування: округлення вбудовано в кожен forward pass, тому модель заздалегідь адаптується до виникаючих втрат до фактичного застосування квантування.
Усі п'ять методів створюють один і той же результат — модель, що працює з меншою точністю представлення в порівнянні з вихідною навченою версією.
Різниця тільки в тому, на якому етапі вирішується проблема вибросів.
Візуалізація нижче добре підсумовує ці підходи.
Є чудова стаття з детальним дослідженням методів квантування LLM:
Детальніше
Чому це важливо
АналітикаЦі методи квантування дозволяють зменшити обсяг пам'яті для великих моделей, що робить їх більш доступними для використання на звичайних графічних процесорах. Розуміння цих підходів є важливим для розробників, які прагнуть оптимізувати свої моделі.
Обговорити новину у спільноті
Діліться своїм досвідом та думками з ШІ-розробниками
Пов'язані матеріали екосистеми
Практичні гайди, термінологія та агентські скіли
Дослідники MIT показали, що GPT-6 Astra може покращувати інші ШІ-моделі, змінюючи їхні ваги
У експерименті Astra підвищила точність Qwen3.5-0.8B на бенчмарку MATH-500 із 7,9% до 48,1%, змінивши лише 0,016% ваг моделі.
AI Radar: GPT-6.1 Terra, Gemini 4 Carbon, Mistral Large 4 і зміни тарифів OpenAI та Anthropic
Огляд свіжих новин AI: оновлення великих мовних моделей, зміни підписок OpenAI та Anthropic, а також нові world-моделі, відеогенератори й корпоративні фінансові деталі.
Частина II. Архітектура ШІ-агентів: від моделі до пам'яті та інструментів
Глибоке інженерне занурення: токенізація, KV-кеш, детермінізм семплінгу, тренувальний стек, квантування, контекстна інженерія, стек безпеки, виробничий RAG, ReAct та мультиагентні swarm-системи.
Frontier Models (Фронтирні моделі ШІ)
Найпотужніший клас штучного інтелекту на передньому краї світових досліджень (Claude 3.7 Sonnet, OpenAI o3/GPT-4.5, Gemini 2.0 Pro), що визначає межу сучасних можливостей міркування, автономності та кодування.