Premiera modelu Bonsai 27B: sztuczna inteligencja na smartfonach
Firma PrismML zaprezentowała Bonsai 27B, model AI działający na telefonach dzięki redukcji rozmiaru do zaledwie 3,9 GB. Dostępne są dwie wersje open-source, zoptymalizowane pod kątem urządzeń mobilnych i laptopów.
Premiera modelu Bonsai 27B: sztuczna inteligencja na smartfonach
PrismML wprowadziło na rynek Bonsai 27B – binarną (1-bit) oraz trójkową (ternary) wersję modelu Qwen3.6-27B.
Dzięki zastosowaniu niskobitowej reprezentacji danych, rozmiar oryginalnego modelu FP16 został zredukowany z 54 GB do 3,9 GB. Oznacza to zmniejszenie objętości o około 93%, czyli aż czternastokrotnie.
Dostępne wersje:
Bonsai 27B w wersji 1-bit — 3,9 GB
Zoptymalizowana do działania na smartfonach, wykorzystuje efektywnie 1,125 bitu na wagę.
Bonsai 27B w wersji trójkowej (Ternary) — 5,9 GB
Zaprojektowana z myślą o laptopach, wykorzystuje efektywnie 1,71 bitu na wagę.
Wersja trójkowa zachowuje około 95% wydajności modelu pełnoprecyzyjnego, podczas gdy wersja 1-bitowa utrzymuje poziom około 90%. Ocena obejmowała zadania związane z rozumowaniem, matematyką, programowaniem, przestrzeganiem instrukcji, korzystaniem z narzędzi oraz analizą obrazów.
Obie wersje zostały udostępnione jako oprogramowanie open-source na licencji Apache 2.0.
Dzięki niestandardowym rdzeniom WebGPU, opracowanym przy użyciu technologii Fable 5 oraz GPT-5.6 Sol, Bonsai 27B może działać lokalnie bezpośrednio w przeglądarce internetowej, bez konieczności przesyłania danych do chmury.
Dlaczego to ważne
AnalizaTen model otwiera nowe możliwości dla sztucznej inteligencji na urządzeniach mobilnych, zwiększając dostępność zaawansowanych technologii. Redukcja rozmiaru modelu bez istotnej utraty wydajności stanowi kluczowy krok w rozwoju efektywnego AI.
Dyskutuj w społeczności
Dziel się swoimi pytaniami i spostrzeżeniami z programistami