PrismML Lança o Maior Modelo de IA do Mundo para Smartphones

O recém-apresentado modelo Bonsai possui 27 bilhões de parâmetros. Normalmente, um modelo dessa escala não pode ser executado em um celular: em formato bruto de 16 bits, ocuparia cerca de 54 GB e, mesmo comprimido para 4 bits, ainda exigiria aproximadamente 18 GB. Simplesmente não caberia na memória de um smartphone.

No entanto, o Bonsai, apesar de seu tamanho impressionante, foi otimizado especificamente para implantação local. O modelo é baseado no Qwen3.6-27B, mas os desenvolvedores utilizaram não a quantização usual, mas uma técnica chamada Treinamento Consciente da Quantização (Quantization-Aware Training).

Isso significa que os pesos não foram truncados, mas gradualmente ensinados a se adaptar a valores discretos. Tecnicamente, durante a passagem direta (forward pass), os pesos são arredondados para valores discretos, e o modelo faz previsões usando esses valores, como na versão final comprimida. Contudo, durante a passagem inversa (backward pass), os gradientes são calculados como se não houvesse arredondamento, permitindo que o modelo receba sinais significativos para atualizações dos pesos, apesar de eles serem discretos. Em outras palavras, o modelo aprende efetivamente a escalar seus pesos de forma ótima.

Graças a essa engenharia, o modelo mantém mais de 89–95% da qualidade da versão de tamanho completo, enquanto ocupa 9 a 14 vezes menos memória. Para a quantização convencional, que consome uma parte significativa da qualidade, esses números são simplesmente fenomenais.

Há uma opção ternária (pesos -1, 0 ou +1; ocupa ~5,9 GB) e uma versão clássica de 1 bit (3,9 GB). Esta última cabe facilmente no iPhone 17 Pro. Ambas as opções são multimodais. O contexto é de 262 mil tokens. Código aberto sob a licença Apache 2.0.