PrismML erweitert Bonsai 2 um drei kompakte KI-Modelle für lokale Agenten
PrismML stellte drei Bonsai-2-Modelle mit 2, 4 und 9 Milliarden Parametern auf Basis von Qwen 3.5 von Alibaba vor. Sie verwenden Gewichte nur mit −1, 0 und +1 und belegen 0,43 bis 2 GB.
Das US-KI-Unternehmen PrismML hat die Familie Bonsai 2 erweitert und drei neue Modelle mit 2, 4 und 9 Milliarden Parametern vorgestellt. Alle basieren auf Qwen 3.5 von Alibaba.
Die Entwickler beschränkten die Hauptgewichte der Sprachmodelle auf drei Werte: −1, 0 und +1. Dadurch konnten die Dateigrößen auf 0,43 GB, 0,95 GB und 2 GB reduziert werden. Das ist etwa neunmal weniger als bei den ursprünglichen Modellen mit 16-Bit-Gewichten.
Die neuen Modelle unterstützen weiterhin Reasoning, Bildverständnis und Tool-Aufrufe. Sie sind vor allem für lokale KI-Agenten gedacht, die auf Smartphones, PCs und anderen Geräten laufen.
Laut PrismML erzeugt das 9B-Modell auf dem iPhone 18 Pro Max bis zu 34 Tokens pro Sekunde, während die 2B-Version 120 Tokens pro Sekunde erreicht.
In offiziellen Tests steht Bonsai 2 9B dem ursprünglichen Qwen 3.5-Modell ähnlicher Größe beim Programmieren und Befolgen von Anweisungen kaum nach, bei komplexen Aufgaben ist der Unterschied jedoch deutlicher.
In Tau2Bench, das mehrstufige Dialoge und die Arbeit mit Tools prüft, erreichte Bonsai 2 9B 73,02 Punkte gegenüber 85,25 Punkten beim Original Qwen 3.5. Im Test zur Analyse komplexer Dokumente lagen die Ergebnisse bei 73,8 und 88,73 Punkten.
Die Gewichte aller drei Modelle sind bereits unter der Apache-2.0-Lizenz veröffentlicht.
Zugleich ist zu beachten, dass 2 GB nur die Sprachmodellgröße des 9B-Modells im kompaktesten Format ist. Für Bildverarbeitung wird zusätzlich ein visuelles Modul von etwa 0,62 GB benötigt.
Warum das wichtig ist
AnalyseDie Modelle senken Speicherbedarf und ermöglichen lokale KI-Agenten auf Endgeräten, verlieren aber bei anspruchsvollen Aufgaben gegenüber dem Original.
In der Community diskutieren
Teile deine Fragen und Erkenntnisse mit Entwicklern