Start des Bonsai-27B-Modells: KI auf Smartphones möglich
PrismML stellt das neue KI-Modell Bonsai 27B vor, das durch extreme Komprimierung auf nur 3,9 GB läuft und direkt auf Smartphones einsetzbar ist. Die Open-Source-Versionen ermöglichen lokale Inferenz ohne Cloud-Anbindung.
Start des Bonsai-27B-Modells: KI auf Smartphones möglich
PrismML hat Bonsai 27B vorgestellt – eine 1-Bit- und Ternär-Variante von Qwen3.6-27B.
Dank der Low-Bit-Darstellung konnte die Größe des ursprünglichen FP16-Modells von 54 GB auf 3,9 GB reduziert werden. Das entspricht einer Verkleinerung um etwa 93 % bzw. dem Faktor 14.
Verfügbare Versionen:
1-Bit Bonsai 27B — 3,9 GB
Optimiert für den Betrieb auf Smartphones; nutzt 1,125 effektive Bits pro Gewicht.
Ternary Bonsai 27B — 5,9 GB
Entwickelt für Laptops; nutzt 1,71 effektive Bits pro Gewicht.
Die Ternär-Version behält etwa 95 % der Leistungsfähigkeit des Modells mit voller Präzision bei, während die 1-Bit-Version rund 90 % erreicht. Die Evaluation umfasst Bereiche wie logisches Denken, Mathematik, Programmierung, Befolgung von Anweisungen, Tool-Nutzung und Bildverarbeitung.
Beide Versionen werden als Open Source unter der Apache-2.0-Lizenz veröffentlicht.
Durch eigens entwickelte WebGPU-Kerne, die mit Hilfe von Fable 5 und GPT-5.6 Sol erstellt wurden, kann Bonsai 27B lokal direkt im Browser ausgeführt werden – ohne Daten in die Cloud zu senden.
Warum das wichtig ist
AnalyseDieses Modell eröffnet neue Möglichkeiten für den Einsatz von KI auf mobilen Geräten und macht die Technologie breiter zugänglich. Die Reduktion der Modellgröße ohne signifikanten Leistungsabfall stellt einen wichtigen Fortschritt in der Entwicklung effizienter KI-Systeme dar.
In der Community diskutieren
Teile deine Fragen und Erkenntnisse mit Entwicklern