Дообучення LLM на телефоні: підвищення точності до 90%
Дообучення LLM на телефоні: підвищення точності до 90%
Інженер Google Кормак Брик розповів, як дообучити LLM на телефоні, підвищивши її точність до 90%. Цей процес дозволяє використовувати модель офлайн з високою швидкістю обробки.
Інженер Google Кормак Брик пояснив, як дообучити крошечну LLM прямо на телефоні та підвищити її точність з 46% до 90%.
Схема така:
- Вибрати Gemma 270M.
- Сгенерувати синтетичні дані для своєї задачі.
- Дообучити модель за допомогою LoRA.
- Квантизувати її до int4.
- Розгорнути на Pixel і отримати швидкість до 2000 токенів за секунду.
Саме завдяки такому циклу модель на 270 млн параметрів може перевершити модель на 70 млрд параметрів у конкретній задачі - при цьому повністю працюючи офлайн прямо у вас в кармані.
Чому це важливо
АналітикаЦей підхід дозволяє значно підвищити ефективність малих моделей, роблячи їх конкурентоспроможними з великими моделями. Це відкриває нові можливості для використання AI на мобільних пристроях.
Обговорити новину у спільноті
Діліться своїм досвідом та думками з ШІ-розробниками
Пов'язані матеріали екосистеми
Практичні гайди, термінологія та агентські скіли
AI Radar: GPT-6.1 Terra, Gemini 4 Carbon, Mistral Large 4 і зміни тарифів OpenAI та Anthropic
Огляд свіжих новин AI: оновлення великих мовних моделей, зміни підписок OpenAI та Anthropic, а також нові world-моделі, відеогенератори й корпоративні фінансові деталі.
Дослідники MIT показали, що GPT-6 Astra може покращувати інші ШІ-моделі, змінюючи їхні ваги
У експерименті Astra підвищила точність Qwen3.5-0.8B на бенчмарку MATH-500 із 7,9% до 48,1%, змінивши лише 0,016% ваг моделі.
Частина I. Архітектура ШІ-агентів: фундаментальні блоки
Десять фундаментальних блоків сучасного агента: таксономія моделей, рантайм-петля, техніки промптингу, дистиляція, навички (skills), пам'ять, function calling та юніт-економіка.
Частина II. Архітектура ШІ-агентів: від моделі до пам'яті та інструментів
Глибоке інженерне занурення: токенізація, KV-кеш, детермінізм семплінгу, тренувальний стек, квантування, контекстна інженерія, стек безпеки, виробничий RAG, ReAct та мультиагентні swarm-системи.