PrismML rozszerza rodzinę Bonsai 2 o trzy kompaktowe modele AI dla lokalnych agentów

Amerykańska firma AI PrismML rozszerzyła rodzinę Bonsai 2, przedstawiając trzy nowe modele z 2, 4 i 9 miliardami parametrów. Wszystkie powstały na bazie Qwen 3.5 od Alibaby.

Programiści ograniczyli główne wagi modeli językowych do trzech wartości: −1, 0 i +1. Dzięki temu rozmiary plików udało się zmniejszyć do 0,43 GB, 0,95 GB i 2 GB odpowiednio. To około dziewięć razy mniej niż w przypadku oryginalnych modeli z 16-bitowymi wagami.

Nowe modele nadal obsługują rozumowanie, rozumienie obrazów i wywoływanie narzędzi. Są przeznaczone przede wszystkim dla lokalnych agentów AI działających na smartfonach, komputerach osobistych i innych urządzeniach.

Według PrismML na iPhone 18 Pro Max model 9B generuje do 34 tokenów na sekundę, a wersja 2B osiąga prędkość 120 tokenów na sekundę.

W oficjalnych testach Bonsai 2 9B niemal nie ustępuje oryginalnemu Qwen 3.5 o podobnej wielkości w programowaniu i wykonywaniu instrukcji, jednak przy złożonych zadaniach różnica jest bardziej zauważalna.

W Tau2Bench, sprawdzającym zdolność prowadzenia wieloetapowych dialogów i pracy z narzędziami, Bonsai 2 9B uzyskało 73,02 punktu wobec 85,25 punktu dla oryginalnego Qwen 3.5. W teście analizy złożonych dokumentów wyniki wyniosły odpowiednio 73,8 i 88,73 punktu.

Wagi wszystkich trzech modeli są już opublikowane na licencji Apache 2.0.

Warto jednak pamiętać, że 2 GB to rozmiar tylko modelu językowego 9B w najbardziej kompaktowym formacie. Do przetwarzania obrazów potrzebny będzie dodatkowy moduł wizualny o wielkości około 0,62 GB.

Zbiór modeli na Hugging Face