La startup PrismML anuncia el modelo más grande del mundo para su implementación en smartphones

El modelo Bonsai presentado cuenta con 27 mil millones de parámetros. Normalmente, no se puede ejecutar un modelo así en un teléfono: en 16 bits sin procesar ocuparía aproximadamente 54GB, y aunque se comprima a 4 bits, seguiría ocupando alrededor de 18GB. Simplemente no cabe en un smartphone.

Sin embargo, Bonsai, a pesar de su impresionante tamaño, está optimizado específicamente para la implementación local. El modelo se basa en Qwen3.6-27B, pero los desarrolladores utilizaron no la cuantización habitual, sino una técnica llamada Entrenamiento Consciente de Cuantización.

Esto significa que los pesos no se truncaron, sino que se enseñaron gradualmente a adaptarse a valores discretos. Técnicamente, durante el paso hacia adelante, los pesos se redondean a valores discretos, y el modelo hace predicciones utilizando estos valores, como en la versión comprimida final. Sin embargo, durante el paso hacia atrás, los gradientes se calculan como si no hubiera redondeo, lo que permite que el modelo reciba señales significativas para la actualización de pesos, a pesar de que los pesos sean discretos. En otras palabras, el modelo aprende efectivamente cómo escalar sus pesos de manera óptima.

Gracias a esta ingeniería, el modelo conserva más del 89-95% de la calidad de la versión de tamaño completo, mientras ocupa de 9 a 14 veces menos memoria. Para la cuantización convencional, que consume una parte significativa de la calidad, estas son cifras simplemente fenomenales.

Hay una opción ternaria (pesos -1, 0 o +1; ocupa ~5.9GB) y una versión clásica de 1 bit (3.9GB). Esta última cabe fácilmente en el iPhone 17 Pro. Ambas opciones son multimodales. El contexto es de 262K tokens. Código abierto bajo la licencia Apache 2.0.