Дообучення LLM на телефоні: підвищення точності до 90%
Дообучення LLM на телефоні: підвищення точності до 90%
Інженер Google Кормак Брик розповів, як дообучити LLM на телефоні, підвищивши її точність до 90%. Цей процес дозволяє використовувати модель офлайн з високою швидкістю обробки.
Інженер Google Кормак Брик пояснив, як дообучити крошечну LLM прямо на телефоні та підвищити її точність з 46% до 90%.
Схема така:
- Вибрати Gemma 270M.
- Сгенерувати синтетичні дані для своєї задачі.
- Дообучити модель за допомогою LoRA.
- Квантизувати її до int4.
- Розгорнути на Pixel і отримати швидкість до 2000 токенів за секунду.
Саме завдяки такому циклу модель на 270 млн параметрів може перевершити модель на 70 млрд параметрів у конкретній задачі - при цьому повністю працюючи офлайн прямо у вас в кармані.
Чому це важливо
АналітикаЦей підхід дозволяє значно підвищити ефективність малих моделей, роблячи їх конкурентоспроможними з великими моделями. Це відкриває нові можливості для використання AI на мобільних пристроях.
Обговорити новину у спільноті
Діліться своїм досвідом та думками з ШІ-розробниками
Пов'язані матеріали екосистеми
Практичні гайди, термінологія та агентські скіли
Частина I. Архітектура ШІ-агентів: фундаментальні блоки
Десять фундаментальних блоків сучасного агента: таксономія моделей, рантайм-петля, техніки промптингу, дистиляція, навички (skills), пам'ять, function calling та юніт-економіка.
Частина II. Архітектура ШІ-агентів: від моделі до пам'яті та інструментів
Глибоке інженерне занурення: токенізація, KV-кеш, детермінізм семплінгу, тренувальний стек, квантування, контекстна інженерія, стек безпеки, виробничий RAG, ReAct та мультиагентні swarm-системи.
NotebookLM та Аудіо-Огляд (Подкаст із конспектів)
Безкоштовний дослідницький інструмент від Google на базі моделей Gemini. Відповідає суворо за завантаженими джерелами (без галюцинацій) та вміє перетворювати нудні звіти на живі розмовні аудіоподкасти.
Frontier Models (Фронтирні моделі ШІ)
Найпотужніший клас штучного інтелекту на передньому краї світових досліджень (Claude 3.7 Sonnet, OpenAI o3/GPT-4.5, Gemini 2.0 Pro), що визначає межу сучасних можливостей міркування, автономності та кодування.