Дообучение LLM на телефоне: повышение точности до 90%
Дообучение LLM на телефоне: повышение точности до 90%
Инженер Google Кормак Брик объяснил, как дообучить крошечную LLM прямо на телефоне и повысить её точность с 46% до 90%.
Схема такая:
- Выбрать Gemma 270M.
- Сгенерировать синтетические данные для своей задачи.
- Дообучить модель с помощью LoRA.
- Квантизировать её до int4.
- Развернуть на Pixel и получить скорость до 2000 токенов в секунду.
Именно благодаря такому циклу модель на 270 млн параметров может превзойти модель на 70 млрд параметров в конкретной задаче - при этом полностью работать офлайн прямо у вас в кармане.
Почему это важно
АналитикаЭтот подход значительно повышает эффективность малых моделей, делая их конкурентоспособными с крупными моделями. Это открывает новые возможности для использования AI на мобильных устройствах.
Обсудить в сообществе
Делитесь опытом и мыслями с ИИ-разработчиками
Связанные материалы экосистемы
Практические гайды, терминология и агентские скиллы
AI-дайджест за две недели: GPT-6.1 Terra, Gemini 4 Carbon, Mistral Large 4 и изменения тарифов
Свежий обзор новостей AI: обновления LLM, изменения подписок OpenAI и Anthropic, новые world-модели, видео-генераторы и корпоративные детали.
Исследователи MIT показали, что GPT-6 Astra может улучшать другие ИИ-модели, изменяя их веса
В эксперименте Astra повысила точность Qwen3.5-0.8B на бенчмарке MATH-500 с 7,9% до 48,1%, изменив всего 0,016% весов модели.
Часть I. Архитектура ИИ-агентов: фундаментальные блоки
Одиннадцать фундаментальных строительных блоков современного ИИ-агента: таксономия моделей, агентный рантайм, техники промптинга, дистилляция, архитектура навыков (skills), память, function calling и FinOps.
Часть II. Архитектура ИИ-агентов: от модели до памяти и инструментов
Глубокое инженерное погружение: токенизация, KV-кэш, детерминизм сэмплинга, тренировочный стек, квантование, контекстная инженерия, стек безопасности, производственный RAG, ReAct и мультиагентные swarm-системы.