PrismML amplia família Bonsai 2 com três modelos compactos de IA para agentes locais

A empresa americana de IA PrismML ampliou a família Bonsai 2 ao apresentar três novos modelos com 2, 4 e 9 bilhões de parâmetros. Todos são baseados no Qwen 3.5 da Alibaba.

Os desenvolvedores limitaram os pesos principais dos modelos de linguagem a três valores: −1, 0 e +1. Com isso, foi possível reduzir os arquivos para 0,43 GB, 0,95 GB e 2 GB, respectivamente. Isso é cerca de nove vezes menor do que os modelos originais com pesos de 16 bits.

Os novos modelos continuam oferecendo raciocínio, compreensão de imagens e chamada de ferramentas. Eles são voltados principalmente para agentes de IA locais que funcionam em smartphones, computadores pessoais e outros dispositivos.

Segundo a PrismML, no iPhone 18 Pro Max o modelo 9B gera até 34 tokens por segundo, enquanto a versão 2B alcança 120 tokens por segundo.

Nos testes oficiais, o Bonsai 2 9B praticamente não fica atrás do Qwen 3.5 original de tamanho semelhante em programação e seguimento de instruções, mas a diferença fica mais evidente em tarefas complexas.

No Tau2Bench, que avalia a capacidade de conduzir diálogos em várias etapas e trabalhar com ferramentas, o Bonsai 2 9B marcou 73,02 pontos contra 85,25 do Qwen 3.5 original. No teste de análise de documentos complexos, os resultados foram 73,8 e 88,73 pontos, respectivamente.

Os pesos dos três modelos já foram publicados sob a licença Apache 2.0.

Vale lembrar, porém, que 2 GB é o tamanho apenas do modelo de linguagem 9B no formato mais compacto. Para processamento de imagens, será necessário carregar também um módulo visual de cerca de 0,62 GB.

Coleção de modelos no Hugging Face