PrismML представила Bonsai 2: три малі ШІ-моделі для локальних агентів

Американська ШІ-компанія PrismML розширила сімейство Bonsai 2, представивши три нові моделі з 2, 4 і 9 мільярдами параметрів. Усі вони створені на основі Qwen 3.5 від Alibaba.

Розробники обмежили основні ваги мовних моделей трьома значеннями: −1, 0 і +1. Завдяки цьому розміри файлів вдалося зменшити до 0,43 ГБ, 0,95 ГБ і 2 ГБ відповідно. Це приблизно в дев’ять разів менше, ніж у початкових моделей із 16-бітними вагами.

Нові моделі підтримують міркування, розуміння зображень і виклик інструментів. Передусім вони призначені для локальних ШІ-агентів, що працюють на смартфонах, персональних комп’ютерах та інших пристроях.

За даними PrismML, на iPhone 18 Pro Max модель 9B генерує до 34 токенів за секунду, тоді як версія 2B досягає швидкості 120 токенів за секунду.

В офіційних тестах Bonsai 2 9B майже не поступається початковій Qwen 3.5 аналогічного розміру в програмуванні та виконанні інструкцій, однак на складних завданнях різниця помітніша.

У Tau2Bench, який перевіряє здатність моделей вести багатоступеневі діалоги та працювати з інструментами, Bonsai 2 9B набрала 73,02 бала проти 85,25 у оригінальної Qwen 3.5. У тесті на аналіз складних документів результати становлять 73,8 і 88,73 бала відповідно.

Ваги всіх трьох моделей уже опубліковані під ліцензією Apache 2.0.

Водночас варто враховувати, що 2 ГБ — це розмір лише мовної моделі 9B у найкомпактнішому форматі. Для обробки зображень знадобиться додатково завантажити візуальний модуль обсягом близько 0,62 ГБ.

Колекція моделей на Hugging Face