FreeToken: un nuevo sistema para ejecutar grandes modelos MoE en PCs normales
FreeToken es un nuevo sistema que permite ejecutar grandes modelos MoE en computadoras normales, demostrando resultados de rendimiento impresionantes.
¡Increíble! Ahora incluso una PC para juegos puede ejecutar modelos avanzados a velocidades interactivas utilizando pesos oficiales sin cuantización extrema.
Investigadores de UC Berkeley, MIT y UT Austin han abierto el código fuente de FreeToken, un sistema diseñado específicamente para ejecutar modelos MoE ultra grandes en computadoras normales.
En el artículo, muestran resultados muy impresionantes:
- Qwen3.6 35B → laptop con RTX 4060 8GB → 39 tokens/s
- DeepSeek-V4-Flash 284B → RTX 5090 → 22–25 tokens/s
- GLM-5.2 753B → RTX PRO 6000 → 15 tokens/s
En comparación con Ollama, la velocidad de generación es de 3 a 4 veces más alta, y el procesamiento del contexto de entrada es de 6 a 30 veces más rápido.
Esto significa que una laptop para juegos con solo 8 GB de memoria de video ya puede ejecutar un modelo de 35 mil millones de parámetros a casi 40 tokens por segundo.
Y esto es incluso más rápido que la velocidad de generación media de Codex de 33 tokens/s, que los autores mencionan en el artículo.
La idea principal de FreeToken es hacer que la GPU, la CPU, la RAM y el PCIe trabajen juntos.
Dado que los modelos MoE activan solo una pequeña parte de los expertos para cada token, no es necesario mantener cientos de miles de millones de parámetros en la memoria de video todo el tiempo.
FreeToken decide qué partes del modelo mantener en VRAM, cuáles mover temporalmente de la RAM a la GPU y cuáles calcular en la CPU.
Durante la etapa de procesamiento del contexto de entrada, el sistema precarga los expertos de la siguiente capa. Durante la generación, distribuye dinámicamente los cálculos según la velocidad actual de la CPU, GPU y PCIe.
Incluso hay un caché de estado de agente separado.
Cuando un agente llama a herramientas, cambia el contexto o continúa una tarea anterior, FreeToken puede omitir gran parte del reprocesamiento del contexto.
FreeToken viene con una interfaz gráfica completa.
No es necesario convertir modelos a GGUF o compilar el proyecto desde el código fuente.
Además, FreeToken Desktop ya tiene enlaces de agente integrados: seleccionas un modelo, eliges una aplicación y lo ejecutas.
Por qué es importante
AnálisisEste sistema permite ejecutar grandes modelos en computadoras normales, lo que hace que las tecnologías avanzadas sean accesibles para un público más amplio. Podría cambiar significativamente los enfoques para trabajar con AI y reducir las barreras para los desarrolladores.
Debatir en la comunidad
Comparte tus preguntas e ideas con desarrolladores
Relacionado en el ecosistema
Guías prácticas, terminología y skills de agentes
JSON — Datos estructurados para programas, APIs y agentes de IA
Guía práctica y completa sobre JSON: especificación de sintaxis, serialización con parse y stringify, consumo de APIs REST, validación con JSON Schema y salidas estructuradas para LLMs.
Formato CSV: guía completa para automatizaciones y flujos de IA
Guía práctica sobre el formato CSV en flujos de IA: estándar RFC 4180, comparativa con XLSX y JSON, limpieza masiva, enriquecimiento de datos, scripts en Python y prompts para producción.
Mistral AI (Modelos Abiertos y Eficientes de Europa)
Serie de modelos abiertos y comerciales de alto rendimiento del startup francés Mistral AI (Mistral 7B, Mixtral 8x7B, Mistral Large). Conocidos por su compacidad, velocidad y respeto por la privacidad de los datos.
Cuatro consejos para el currículum del responsable de desarrollo de IA aplicada en OpenAI
Wulfie Bain, responsable de desarrollo de IA aplicada en OpenAI, destacó cuatro reglas: brevedad, relevancia, enfoque en resultados y logros más importantes al inicio.