Ajustement fin des LLM sur smartphone : une précision portée à 90 %
Ajustement fin des LLM sur smartphone : une précision portée à 90 %
Un ingénieur de Google détaille la méthode pour affiner un petit modèle de langage directement sur mobile, atteignant 90 % de précision tout en fonctionnant hors ligne.
Cormac Brick, ingénieur chez Google, a expliqué comment effectuer un ajustement fin (fine-tuning) d'un petit modèle de langage (LLM) directement sur un téléphone, permettant d'augmenter sa précision de 46 % à 90 %.
Le processus se déroule comme suit :
- Sélectionner le modèle Gemma 270M.
- Générer des données synthétiques adaptées à la tâche spécifique.
- Ajuster le modèle en utilisant la technique LoRA (Low-Rank Adaptation).
- Quantifier le modèle au format int4.
- Déployer sur un Pixel et atteindre des vitesses allant jusqu'à 2000 tokens par seconde.
Grâce à ce cycle, un modèle comptant 270 millions de paramètres peut surpasser un modèle de 70 milliards de paramètres sur une tâche précise, le tout en fonctionnant entièrement hors ligne, dans votre poche.
Pourquoi c'est important
AnalyseCette approche améliore considérablement l'efficacité des petits modèles, les rendant compétitifs face aux architectures massives. Elle ouvre de nouvelles perspectives pour l'intégration de l'IA sur les appareils mobiles.
Discuter dans la communauté
Partagez vos questions et vos idées avec les développeurs
Lié dans l'écosystème
Guides pratiques, terminologie clé et compétences d'agents
AI Radar : GPT-6.1 Terra, Gemini 4 Carbon, Mistral Large 4 et changements tarifaires d’OpenAI et d’Anthropic
Tour d’horizon des actualités IA : nouveaux modèles LLM, changements d’abonnements OpenAI et Anthropic, modèles de monde, générateurs vidéo et détails d’entreprise.
Des chercheurs du MIT montrent que GPT-6 Astra peut améliorer d’autres modèles d’IA en modifiant leurs poids
Dans une expérience, Astra a porté la précision de Qwen3.5-0.8B sur MATH-500 de 7,9 % à 48,1 % en ne modifiant que 0,016 % des poids du modèle.
Partie I. Architecture des agents IA : les blocs fondamentaux
Dix blocs fondamentaux d'un agent moderne : taxonomie des modèles, boucle d'exécution (runtime), techniques de prompting, distillation, compétences (skills), mémoire, appels de fonctions et économie unitaire.
Partie II. Architecture des agents IA : du modèle à la mémoire et aux outils
Immersion technique approfondie : tokenisation, cache KV, déterminisme de l'échantillonnage, stack d'entraînement, quantification, ingénierie contextuelle, stack de sécurité, RAG en production, ReAct et systèmes swarm multi-agents.