PrismML stellt das weltweit größte KI-Modell für Smartphones vor

Das neu vorgestellte Bonsai-Modell verfügt über 27 Milliarden Parameter. Normalerweise ist ein solches Modell nicht auf einem Smartphone lauffähig: In roher 16-Bit-Darstellung würde es etwa 54 GB Speicherplatz beanspruchen, und selbst bei einer Komprimierung auf 4 Bit wären es noch rund 18 GB – schlichtweg zu viel für mobile Endgeräte.

Bonsai ist jedoch trotz seiner beeindruckenden Größe speziell für den lokalen Einsatz optimiert. Das Modell basiert auf Qwen3.6-27B, wobei die Entwickler nicht die übliche Post-Training-Quantisierung verwendeten, sondern eine Technik namens Quantization-Aware Training (QAT).

Dies bedeutet, dass die Gewichte nicht nachträglich abgeschnitten wurden, sondern das Modell lernte, sich schrittweise an diskrete Werte anzupassen. Technisch gesehen werden die Gewichte während des Vorwärtsdurchlaufs (Forward Pass) auf diskrete Werte gerundet, und das Modell trifft seine Vorhersagen basierend auf diesen gerundeten Werten, genau wie in der finalen komprimierten Version. Während des Rückwärtsdurchlaufs (Backward Pass) werden die Gradienten jedoch so berechnet, als ob keine Rundung stattgefunden hätte. Dies ermöglicht dem Modell, sinnvolle Signale für die Aktualisierung der Gewichte zu erhalten, obwohl diese diskret sind. Mit anderen Worten: Das Modell lernt effektiv, wie es seine Gewichte optimal skalieren kann.

Dank dieses ingenieurtechnischen Ansatzes behält das Modell über 89–95 % der Qualität der Vollversion bei, benötigt dabei aber 9–14-mal weniger Speicherplatz. Im Vergleich zur konventionellen Quantisierung, die oft einen erheblichen Qualitätsverlust mit sich bringt, sind dies herausragende Ergebnisse.

Es gibt eine ternäre Option (Gewichte -1, 0 oder +1; belegt ca. 5,9 GB) sowie eine klassische 1-Bit-Version (3,9 GB). Letztere passt problemlos auf das iPhone 17 Pro. Beide Varianten sind multimodal und unterstützen einen Kontext von 262K Tokens. Das Modell wird unter der Apache 2.0-Lizenz als Open Source bereitgestellt.