Ajuste fino de LLMs no smartphone: precisão salta para 90%
Ajuste fino de LLMs no smartphone: precisão salta para 90%
Engenheiro da Google demonstra como otimizar um pequeno modelo de linguagem diretamente no celular, elevando sua precisão de 46% para 90%. O método permite uso offline com alta velocidade de processamento.
Cormac Brick, engenheiro da Google, detalhou o processo de ajuste fino (fine-tuning) de um pequeno Modelo de Grande Linguagem (LLM) diretamente em um smartphone, aumentando sua precisão de 46% para 90%.
O fluxo de trabalho consiste nas seguintes etapas:
- Selecionar o modelo Gemma 270M.
- Gerar dados sintéticos específicos para a tarefa desejada.
- Realizar o ajuste fino do modelo utilizando a técnica LoRA (Low-Rank Adaptation).
- Quantizar o modelo para formato int4.
- Implantar no dispositivo Pixel, alcançando velocidades de até 2.000 tokens por segundo.
Graças a esse ciclo, um modelo com apenas 270 milhões de parâmetros pode superar modelos com 70 bilhões de parâmetros em tarefas específicas, funcionando completamente offline e na palma da mão.
Por que isso importa
AnáliseEssa abordagem aumenta significativamente a eficiência dos modelos pequenos, tornando-os competitivos frente a arquiteturas maiores. O avanço abre novas possibilidades para a aplicação de IA em dispositivos móveis, priorizando privacidade e desempenho local.
Debater na comunidade
Compartilhe suas dúvidas e insights com desenvolvedores