Стартап PrismML анонсував найбільшу модель у світі для запуску на смартфонах
Стартап PrismML представив модель Bonsai з 27 мільярдами параметрів, оптимізовану для запуску на смартфонах. Вона зберігає високу якість при значному зменшенні розміру пам'яті.
Стартап PrismML анонсував найбільшу модель у світі для запуску на смартфонах
У представленій моделі Bonsai 27 мільярдів параметрів. Звичайно, на телефоні таку модель не запустиш: у сирому 16-bit вона займатиме приблизно 54GB, і навіть якщо стиснути її до 4-bit, все одно буде близько 18GB. На смартфон не поміститься.
Bonsai ж, при своєму вражаючому розмірі, оптимізований саме під локальний запуск. Модель заснована на Qwen3.6-27B, але розробники використовували не звичайне квантування, а техніку Quantization-Aware Training.
Це означає, що ваги не обрубали, а навчали поступово адаптуватися до дискретних значень. Технічно, на прямому проході ваги округлюються до дискретних значень, і модель вважає прогноз вже з ними, як у фінальній стиснутій версії. Але на зворотному проході градієнти обчислюються так, ніби округлення не було, і це дозволяє моделі отримувати осмислений сигнал для оновлення ваг, незважаючи на те, що самі ваги дискретні. Тобто модель як би сама підбирає, як масштабувати свої ваги найкращим чином.
Завдяки такій інженерії, модель зберігає понад 89–95% якості повнорозмірної версії, і при цьому займає в 9–14 разів менше пам'яті. Для звичайного квантування, яке з'їдає левову частку якості, це просто феноменальні цифри.
Є тернарний варіант (ваги −1, 0 або +1; займає ~5.9GB) і класичний 1-bit (3.9GB). Другий легко вміщується в iPhone 17 Pro. Обидва варіанти мультимодальні. Контекст 262K токенів. Опенсорс під ліцензією Apache 2.0.
Чому це важливо
АналітикаЦя модель відкриває нові можливості для використання штучного інтелекту на мобільних пристроях, що може суттєво змінити спосіб взаємодії користувачів з технологіями. Вона демонструє, як інноваційні підходи до квантування можуть зберігати високу якість при зменшенні розміру пам'яті.
Обговорити новину у спільноті
Діліться своїм досвідом та думками з ШІ-розробниками
Пов'язані матеріали екосистеми
Практичні гайди, термінологія та агентські скіли
JSON — структуровані дані для програм, API та AI-агентів
Повний практичний посібник з формату JSON: синтаксичні правила, серіалізація через parse/stringify, робота з REST API, JSON Schema та структурований вивід для штучного інтелекту.
Формати DOCX та XLSX: коли потрібен повноцінний фінальний документ від ШІ
Повний практичний посібник з генерації та опрацювання документів DOCX і таблиць XLSX за допомогою ШІ: порівняння з Markdown та CSV, промпт-інжиніринг, робота з формулами та автоматизація в коді.
AWQ & Activation-Aware GPU Quantization
Методи 4-бітного стиснення ваг мовних моделей, оптимізовані під архітектуру тензорних ядер NVIDIA для максимальної пропускної здатності та збереження критичних каналів активації.
GGUF & Modern Quantization Standards
Універсальний бінарний формат файлів для зберігання та миттєвого завантаження квантованих мовних моделей на процесорах та відеокартах у llama.cpp, Ollama та LM Studio.