Презентація моделі Bonsai 27B, що працює на смартфонах
Bonsai 27B — нова модель AI, яка може працювати на смартфонах, зменшуючи розмір моделі до 3,9 ГБ. Вона доступна у двох версіях з відкритим кодом.
Презентація моделі Bonsai 27B, що працює на смартфонах
PrismML представила Bonsai 27B — 1-бітну і тернарну версії Qwen3.6-27B.
Завдяки низькобітному представленню розмір вихідної FP16-моделі вдалося скоротити з 54 до 3,9 ГБ — приблизно на 93%, або в 14 разів.
Доступні дві версії:
1-bit Bonsai 27B — 3,9 ГБ
Оптимізована для запуску на смартфонах і використовує 1,125 ефективного біта на вагу.
Ternary Bonsai 27B — 5,9 ГБ
Орієнтована на ноутбуки і використовує 1,71 ефективного біта на вагу.
Тернарна версія зберігає близько 95% продуктивності моделі з повною точністю, а 1-бітна — близько 90%. Оцінка охоплює міркування, математику, програмування, слідування інструкціям, використання інструментів і роботу з зображеннями.
Обидві версії опубліковані з відкритим вихідним кодом під ліцензією Apache 2.0.
Завдяки кастомним WebGPU-ядрам, розробленим за допомогою Fable 5 і GPT-5.6 Sol, Bonsai 27B може запускатися локально прямо в браузері — без відправки даних в хмару.
Чому це важливо
АналітикаЦя модель відкриває нові можливості для використання AI на мобільних пристроях, що робить технології більш доступними. Зменшення розміру моделі без втрати продуктивності є важливим кроком у розвитку AI.
Обговорити новину у спільноті
Діліться своїм досвідом та думками з ШІ-розробниками
Пов'язані матеріали екосистеми
Практичні гайди, термінологія та агентські скіли
Дослідники MIT показали, що GPT-6 Astra може покращувати інші ШІ-моделі, змінюючи їхні ваги
У експерименті Astra підвищила точність Qwen3.5-0.8B на бенчмарку MATH-500 із 7,9% до 48,1%, змінивши лише 0,016% ваг моделі.
JSON — структуровані дані для програм, API та AI-агентів
Повний практичний посібник з формату JSON: синтаксичні правила, серіалізація через parse/stringify, робота з REST API, JSON Schema та структурований вивід для штучного інтелекту.
Формати DOCX та XLSX: коли потрібен повноцінний фінальний документ від ШІ
Повний практичний посібник з генерації та опрацювання документів DOCX і таблиць XLSX за допомогою ШІ: порівняння з Markdown та CSV, промпт-інжиніринг, робота з формулами та автоматизація в коді.
Binance оприлюднили розслідування крадіжки $6,3 млрд
Розслідування пов’язує масштабну крадіжку з модифікованим Homebrew, фальшивою співбесідою та використанням внутрішнього ШІ-інструменту Binance.