Métodos de cuantización de LLM para ejecutar un modelo de 70B en una sola GPU
El artículo analiza cinco métodos de cuantización para LLM que reducen los requisitos de memoria para modelos grandes como el de 70B. Cada método aborda el problema de los valores atípicos en diferentes etapas.
Métodos de cuantización de LLM para ejecutar un modelo de 70B en una sola GPU
Un modelo de 70B en FP16 requiere alrededor de 140 GB solo para pesos. En un formato de 4 bits, este volumen se reduce a 35 GB, que cabe en una sola GPU.
Sin embargo, el simple redondeo de valores no funciona para modelos grandes. Aproximadamente el 0.1% de las dimensiones ocultas contienen valores que pueden ser hasta 20 veces más grandes que otros valores en el tensor, y rompen la cuadrícula de cuantización para todos los demás parámetros.
Cada uno de estos cinco métodos aborda el problema de los valores atípicos en diferentes etapas:
RTN (Round-To-Nearest)
Ignora el problema.
Cada peso se redondea simplemente al nivel de cuantización más cercano sin usar datos de calibración.
La opción más barata, pero la más débil en baja precisión.GPTQ
Corrige las consecuencias del redondeo.
Cuantiza capa por capa, columna por columna, y después de cada paso ajusta los pesos restantes para compensar el error antes de continuar.AWQ (Activation-aware Weight Quantization)
Protege los pesos importantes antes del redondeo.
Identifica aproximadamente el 1% de los canales de peso que tienen el mayor impacto y los escala para que soporten mejor la cuantización.
El modelo final aún funciona completamente en INT4 estándar.LLM.int8()
Aísla los valores atípicos durante la inferencia.
Las dimensiones con valores atípicos se ejecutan en FP16, mientras que el 99.9% restante de los parámetros funcionan en INT8. Luego, los resultados se combinan.QAT (Quantization-Aware Training)
Aborda el problema durante el entrenamiento.
El modelo se ajusta teniendo en cuenta la cuantización: el redondeo está integrado en cada paso hacia adelante, por lo que el modelo se adapta a las pérdidas resultantes antes de que se aplique la cuantización real.
Los cinco métodos producen el mismo resultado: un modelo que opera con menor precisión de representación en comparación con la versión entrenada original.
La diferencia radica solo en cuándo se aborda el problema de los valores atípicos.
La visualización a continuación resume bien estos enfoques.
Hay un excelente artículo con un estudio detallado de los métodos de cuantización de LLM:
Leer más
Por qué es importante
AnálisisEstos métodos de cuantización permiten reducir los requisitos de memoria para modelos grandes, haciéndolos más accesibles para su uso en GPU estándar. Comprender estos enfoques es crucial para los desarrolladores que buscan optimizar sus modelos.
Debatir en la comunidad
Comparte tus preguntas e ideas con desarrolladores
Relacionado en el ecosistema
Guías prácticas, terminología y skills de agentes
Investigadores del MIT muestran que GPT-6 Astra puede mejorar otros modelos de IA cambiando sus pesos
En un experimento, Astra elevó la precisión de Qwen3.5-0.8B en MATH-500 del 7,9% al 48,1% cambiando solo el 0,016% de los pesos del modelo.
AI Radar: GPT-6.1 Terra, Gemini 4 Carbon, Mistral Large 4 y cambios de precios de OpenAI y Anthropic
Resumen de novedades de IA: nuevos modelos LLM, cambios en suscripciones de OpenAI y Anthropic, modelos de mundo, generadores de vídeo y detalles corporativos.
Parte II. Arquitectura de agentes de IA: del modelo a la memoria y las herramientas
Inmersión profunda de ingeniería: tokenización, KV-cache, determinismo del muestreo, stack de entrenamiento, cuantización, ingeniería de contexto, stack de seguridad, RAG en producción, ReAct y sistemas swarm multiagente.
JSON — Datos estructurados para programas, APIs y agentes de IA
Guía práctica y completa sobre JSON: especificación de sintaxis, serialización con parse y stringify, consumo de APIs REST, validación con JSON Schema y salidas estructuradas para LLMs.