Tipos de quantização: FP16, INT8, INT4
Formatos técnicos para a representação dos pesos das redes neurais. Desde a precisão completa de 16 bits com vírgula flutuante (FP16 / BF16) até formatos inteiros de compressão (INT8, INT4, AWQ, EXL2), que definem o equilíbrio entre o consumo de memória e a qualidade intelectual das respostas.
1. Visão geral do conceito e propósito
Cada conhecimento de uma rede neural é um número. Mas o computador pode armazenar esse número de diferentes formas:
- Pode-se registrá-lo com máxima precisão até 10 casas decimais (como em um laboratório de física).
- Ou arredondá-lo para o inteiro mais próximo (como o troco no mercado).
Tipos de quantização (FP16, INT8, INT4) — representam a escolha de quantos bits de memória você está disposto a alocar para registrar cada um dos bilhões de parâmetros do modelo.
Princípio de engenharia fundamental: é como a resolução de vídeo: 4K Ultra HD (FP16), Full HD decente (INT8) ou 720p otimizado (INT4). Para a maioria das telas, 720p parece excelente, mas carrega 4 vezes mais rápido.
2. Tabela comparativa de formatos de precisão
| Formato | Bits por número | Tamanho do modelo 8B | Precisão lógica | Onde é utilizado |
|---|---|---|---|---|
| FP16 / BF16 | 16 bits (2 bytes) | ~16 GB | 100% (Referência) | Servidores de treinamento em nuvem |
| INT8 | 8 bits (1 byte) | ~8.5 GB | 99.5% da referência | Servidores para API econômica |
| INT4 (Q4) | 4 bits (0.5 byte) | ~4.8 GB | 97.0% da referência | PCs domésticos e laptops |
| INT2 (Q2) | 2 bits (0.25 byte) | ~2.5 GB | < 70% (Falhas) | Experimentos de entusiastas |
3. Por que a compressão de 4 bits (INT4) se tornou uma revolução
Até 2023, acreditava-se que, ao arredondar números para 4 bits (onde há apenas 16 valores possíveis: de 0 a 15), o modelo de linguagem entraria em colapso total.
Mas os pesquisadores desenvolveram métodos inteligentes (como AWQ — Activation-aware Weight Quantization e GGUF K-quants):
- Descobriram que apenas 1% dos pesos do modelo são "criticamente importantes" para a inteligência.
- Esse 1% permanece em alta precisão, enquanto os outros 99% dos números são comprimidos agressivamente para 4 bits.
- Como resultado, o modelo reduziu seu tamanho em 3.5 vezes, mantendo quase 98% de sua inteligência original!
4. Conclusão prática
Ao escolher o formato do modelo em aplicações locais (LM Studio, Ollama):
- Se você possui bastante VRAM ➔ escolha INT8 (Q8) para obter a melhor qualidade de texto possível.
- Se a memória for limitada ➔ sempre opte por INT4 (Q4_K_M). É o padrão-ouro inigualável.
FAQ: Tipos de quantização: FP16, INT8, INT4
Termos relacionados
Quantização e Formato GGUF
Método matemático para reduzir a precisão dos pesos numéricos do modelo (por exemplo, de FP16 de 16 bits para INT4 de 4 bits) e um arquivo binário unificado no formato GGUF para carregamento instantâneo em processadores e placas de vídeo através do motor llama.cpp.
Memória de Vídeo (VRAM) para IA
A memória de vídeo da placa gráfica (Video RAM), onde são carregados os pesos da rede neural e a janela de contexto. É o principal gargalo de hardware: se o modelo não couber na VRAM, ele não será executado ou funcionará dezenas de vezes mais lentamente no processador comum.
Número de parâmetros do modelo (7B, 14B, 70B)
Designação da quantidade total de parâmetros de treinamento (pesos) em um grande modelo de linguagem, onde a letra 'B' significa bilhões (Billion). Principal indicador da capacidade intelectual do modelo, sua velocidade de execução e requisitos de memória do computador.