Ajuste fino de LLM en el teléfono: aumento de la precisión al 90%
Ajuste fino de LLM en el teléfono: aumento de la precisión al 90%
El ingeniero de Google Cormac Brick explicó cómo ajustar finamente un LLM pequeño directamente en un teléfono y aumentar su precisión del 46% al 90%.
El proceso es el siguiente:
- Elegir Gemma 270M.
- Generar datos sintéticos para tu tarea.
- Ajustar finamente el modelo utilizando LoRA.
- Cuantizarlo a int4.
- Desplegar en Pixel y alcanzar velocidades de hasta 2000 tokens por segundo.
Gracias a este ciclo, un modelo de 270 millones de parámetros puede superar a un modelo de 70 mil millones de parámetros en una tarea específica, todo mientras funciona completamente sin conexión en tu bolsillo.
Por qué es importante
AnálisisEste enfoque mejora significativamente la eficiencia de los modelos pequeños, haciéndolos competitivos con los modelos más grandes. Abre nuevas posibilidades para el uso de AI en dispositivos móviles.
Debatir en la comunidad
Comparte tus preguntas e ideas con desarrolladores
Relacionado en el ecosistema
Guías prácticas, terminología y skills de agentes
AI Radar: GPT-6.1 Terra, Gemini 4 Carbon, Mistral Large 4 y cambios de precios de OpenAI y Anthropic
Resumen de novedades de IA: nuevos modelos LLM, cambios en suscripciones de OpenAI y Anthropic, modelos de mundo, generadores de vídeo y detalles corporativos.
Investigadores del MIT muestran que GPT-6 Astra puede mejorar otros modelos de IA cambiando sus pesos
En un experimento, Astra elevó la precisión de Qwen3.5-0.8B en MATH-500 del 7,9% al 48,1% cambiando solo el 0,016% de los pesos del modelo.
Parte I. Arquitectura de Agentes de IA: Fundamentos
Los once bloques constructivos fundamentales de un agente de IA: taxonomía de modelos, bucle de ejecución, ingeniería de prompts, destilación, skills, memoria, function calling y FinOps.
Parte II. Arquitectura de agentes de IA: del modelo a la memoria y las herramientas
Inmersión profunda de ingeniería: tokenización, KV-cache, determinismo del muestreo, stack de entrenamiento, cuantización, ingeniería de contexto, stack de seguridad, RAG en producción, ReAct y sistemas swarm multiagente.