Ajuste fino de LLMs no smartphone: precisão salta para 90%
Ajuste fino de LLMs no smartphone: precisão salta para 90%
Engenheiro da Google demonstra como otimizar um pequeno modelo de linguagem diretamente no celular, elevando sua precisão de 46% para 90%. O método permite uso offline com alta velocidade de processamento.
Cormac Brick, engenheiro da Google, detalhou o processo de ajuste fino (fine-tuning) de um pequeno Modelo de Grande Linguagem (LLM) diretamente em um smartphone, aumentando sua precisão de 46% para 90%.
O fluxo de trabalho consiste nas seguintes etapas:
- Selecionar o modelo Gemma 270M.
- Gerar dados sintéticos específicos para a tarefa desejada.
- Realizar o ajuste fino do modelo utilizando a técnica LoRA (Low-Rank Adaptation).
- Quantizar o modelo para formato int4.
- Implantar no dispositivo Pixel, alcançando velocidades de até 2.000 tokens por segundo.
Graças a esse ciclo, um modelo com apenas 270 milhões de parâmetros pode superar modelos com 70 bilhões de parâmetros em tarefas específicas, funcionando completamente offline e na palma da mão.
Por que isso importa
AnáliseEssa abordagem aumenta significativamente a eficiência dos modelos pequenos, tornando-os competitivos frente a arquiteturas maiores. O avanço abre novas possibilidades para a aplicação de IA em dispositivos móveis, priorizando privacidade e desempenho local.
Debater na comunidade
Compartilhe suas dúvidas e insights com desenvolvedores
Relacionado no ecossistema
Guias práticos, terminologia essencial e skills de agentes
AI Radar: GPT-6.1 Terra, Gemini 4 Carbon, Mistral Large 4 e mudanças de preços da OpenAI e da Anthropic
Resumo das novidades de IA: novos modelos LLM, mudanças nas assinaturas da OpenAI e da Anthropic, world models, geradores de vídeo e detalhes corporativos.
Pesquisadores do MIT mostram que GPT-6 Astra pode melhorar outros modelos de IA alterando seus pesos
Em um experimento, a Astra aumentou a precisão do Qwen3.5-0.8B no MATH-500 de 7,9% para 48,1% ao alterar apenas 0,016% dos pesos do modelo.
JSON — dados estruturados para aplicações, APIs e agentes de IA
Guia prático completo sobre o formato JSON: regras de sintaxe, serialização via parse/stringify, integração com REST API, JSON Schema e saída estruturada para inteligência artificial.
Formato CSV: Guia completo para automação e trabalho com IA
Guia prático sobre o uso do formato CSV em pipelines de IA: especificação RFC 4180, comparação com XLSX e JSON, limpeza e enriquecimento massivo de dados, codificação em Python e prompts prontos.