Методы квантования LLM для запуска модели 70B на одной GPU
В статье рассматриваются пять методов квантования LLM, которые позволяют уменьшить объем памяти для больших моделей, таких как 70B. Каждый метод имеет свои особенности в решении проблемы выбросов.
Методы квантования LLM для запуска модели 70B на одной GPU
Модель 70B в FP16 требует около 140 ГБ только под веса. В 4-битном формате этот объем уменьшается до 35 ГБ, что уже помещается на одну видеокарту.
Но простое округление значений не работает для больших моделей. Примерно 0,1% скрытых размерностей содержат значения, которые могут быть до 20 раз больше, чем остальные значения в тензоре, и они ломают квантовочную сетку для всех остальных параметров.
Каждый из этих пяти методов решает проблему выбросов на разном этапе:
RTN (Round-To-Nearest)
Игнорирует проблему.
Каждый вес просто округляется до ближайшего уровня квантования без использования калибровочных данных.
Самый дешевый вариант, но самый слабый при низкой разрядности.GPTQ
Исправляет последствия округления.
Квантует слой за слоем, столбец за столбцом, и после каждого шага корректирует оставшиеся веса, чтобы компенсировать возникшую ошибку, прежде чем перейти дальше.AWQ (Activation-aware Weight Quantization)
Защищает важные веса до округления.
Находит примерно 1% каналов весов, которые оказывают наибольшее влияние, и масштабирует их так, чтобы они лучше переживали квантование.
При этом итоговая модель все равно полностью работает в обычном INT4.LLM.int8()
Изолирует выбросы во время инференса.
Размерности с выбросами выполняются в FP16, а остальные 99,9% параметров работают в INT8. Затем результаты объединяются.QAT (Quantization-Aware Training)
Решает проблему еще во время обучения.
Модель дообучается с учетом квантования: округление встроено в каждый forward pass, поэтому модель заранее адаптируется к возникающим потерям до фактического применения квантования.
Все пять методов создают один и тот же результат — модель, работающую с меньшей точностью представления по сравнению с исходной обученной версией.
Разница только в том, на каком этапе решается проблема выбросов.
Визуализация ниже хорошо суммирует эти подходы.
Есть отличная статья с подробным исследованием методов квантования LLM:
Детальнее
Почему это важно
АналитикаЭти методы квантования позволяют уменьшить объем памяти для больших моделей, что делает их более доступными для использования на обычных графических процессорах. Понимание этих подходов важно для разработчиков, стремящихся оптимизировать свои модели.
Обсудить в сообществе
Делитесь опытом и мыслями с ИИ-разработчиками
Связанные материалы экосистемы
Практические гайды, терминология и агентские скиллы
Исследователи MIT показали, что GPT-6 Astra может улучшать другие ИИ-модели, изменяя их веса
В эксперименте Astra повысила точность Qwen3.5-0.8B на бенчмарке MATH-500 с 7,9% до 48,1%, изменив всего 0,016% весов модели.
AI-дайджест за две недели: GPT-6.1 Terra, Gemini 4 Carbon, Mistral Large 4 и изменения тарифов
Свежий обзор новостей AI: обновления LLM, изменения подписок OpenAI и Anthropic, новые world-модели, видео-генераторы и корпоративные детали.
Часть II. Архитектура ИИ-агентов: от модели до памяти и инструментов
Глубокое инженерное погружение: токенизация, KV-кэш, детерминизм сэмплинга, тренировочный стек, квантование, контекстная инженерия, стек безопасности, производственный RAG, ReAct и мультиагентные swarm-системы.
Фронтирные Модели (Frontier Models)
Самый мощный класс искусственного интеллекта на переднем крае мировых исследований (Claude 3.7 Sonnet, OpenAI o3/GPT-4.5, Gemini 2.0 Pro), определяющий границы современных возможностей рассуждения, автономности и кодирования.