Méthodes de quantification pour exécuter un modèle LLM de 70 milliards de paramètres sur un seul GPU
Cet article détaille cinq techniques de quantification permettant de réduire les besoins mémoire des grands modèles linguistiques, en adressant spécifiquement le problème des valeurs aberrantes à différentes étapes du processus.
Méthodes de quantification pour exécuter un modèle LLM de 70 milliards de paramètres sur un seul GPU
Un modèle de 70 milliards de paramètres (70B) au format FP16 nécessite environ 140 Go uniquement pour ses poids. En passant à un format 4 bits, ce volume se réduit à 35 Go, ce qui permet son exécution sur un seul GPU.
Cependant, l'arrondi simple des valeurs ne fonctionne pas pour les grands modèles. Environ 0,1 % des dimensions cachées contiennent des valeurs pouvant être jusqu'à 20 fois plus élevées que les autres dans le tenseur ; ces "outliers" brisent la grille de quantisation pour tous les autres paramètres.
Chacune des cinq méthodes suivantes aborde le problème des outliers à des stades différents :
RTN (Round-To-Nearest) Ignore le problème. Chaque poids est simplement arrondi au niveau de quantisation le plus proche sans utiliser de données d'étalonnage. C'est l'option la moins coûteuse, mais la moins performante à basse précision.
GPTQ Corrige les conséquences de l'arrondi. Quantise couche par couche et colonne par colonne, ajustant après chaque étape les poids restants pour compenser l'erreur avant de passer à la suivante.
AWQ (Activation-aware Weight Quantization) Protège les poids importants avant l'arrondi. Identifie environ 1 % des canaux de poids ayant l'impact le plus significatif et les met à l'échelle pour mieux résister à la quantisation. Le modèle final continue de fonctionner entièrement en INT4 standard.
LLM.int8() Isole les outliers lors de l'inférence. Les dimensions contenant des outliers sont exécutées en FP16, tandis que les 99,9 % restants des paramètres fonctionnent en INT8. Les résultats sont ensuite combinés.
QAT (Quantization-Aware Training) Aborde le problème pendant l'entraînement. Le modèle est affiné en tenant compte de la quantisation : l'arrondi est intégré à chaque passe avant (forward pass), permettant au modèle de s'adapter aux pertes résultantes avant que la quantisation réelle ne soit appliquée.
Les cinq méthodes produisent le même résultat final — un modèle opérant avec une précision de représentation inférieure à celle de la version originale entraînée. La différence réside uniquement dans le moment où le problème des outliers est traité.
La visualisation ci-dessous synthétise bien ces approches.
Pour aller plus loin, consultez cette étude détaillée des méthodes de quantification des LLM : Lire l'article
Pourquoi c'est important
AnalyseCes techniques de quantification rendent les grands modèles accessibles sur des infrastructures matérielles standard en réduisant drastiquement leurs exigences mémoire. Comprendre ces approches est essentiel pour les développeurs cherchant à optimiser les performances et les coûts d'inférence.
Discuter dans la communauté
Partagez vos questions et vos idées avec les développeurs