Startup PrismML Announces the Largest Model in the World for Smartphone Deployment

Nowo zaprezentowany model Bonsai dysponuje 27 miliardami parametrów. Zazwyczaj taki model nie może być uruchomiony na telefonie: w surowej postaci 16-bitowej zajmowałby około 54 GB, a nawet po skompresowaniu do 4 bitów wciąż ważyłby około 18 GB. Po prostu nie mieści się on w pamięci smartfona.

Jednak Bonsai, mimo swoich imponujących rozmiarów, został specjalnie zoptymalizowany pod kątem lokalnego wdrożenia. Model opiera się na architekturze Qwen3.6-27B, ale deweloperzy zastosowali nie standardową kwantyzację, lecz technikę zwaną Quantization-Aware Training (Szkolenie z Uwzględnieniem Kwantyzacji).

Oznacza to, że wagi modelu nie zostały po prostu obcięte, lecz stopniowo uczono je adaptacji do wartości dyskretnych. Technicznie rzecz biorąc, podczas przejścia w przód (forward pass) wagi są zaokrąglane do wartości dyskretnych, a model dokonuje predykcji przy użyciu tych wartości, tak jak w finalnej, skompresowanej wersji. Jednak podczas przejścia wstecz (backward pass) gradienty są obliczane tak, jakby zaokrąglenie nie miało miejsca, co pozwala modelowi otrzymywać znaczące sygnały do aktualizacji wag, mimo że same wagi są dyskretne. Innymi słowy, model efektywnie uczy się optymalnego skalowania swoich wag.

Dzięki temu rozwiązaniu inżynieryjnemu model zachowuje ponad 89–95% jakości pełnowymiarowej wersji, zajmując przy tym 9–14 razy mniej pamięci. W porównaniu z konwencjonalną kwantyzacją, która pochłania znaczną część jakości, są to wyniki wręcz fenomenalne.

Dostępna jest opcja trójkowa (wagi przyjmują wartości -1, 0 lub +1; zajmuje ~5,9 GB) oraz klasyczna wersja 1-bitowa (3,9 GB). Ta druga bez problemu mieści się w iPhone 17 Pro. Oba warianty są multimodalne. Kontekst wynosi 262 tysiące tokenów. Model jest open-source’em udostępnionym na licencji Apache 2.0.