FreeToken: Um novo sistema para executar modelos MoE de grande porte em PCs comuns
O FreeToken é um novo sistema que permite a execução de grandes modelos MoE em computadores convencionais, demonstrando resultados de desempenho impressionantes.
Incrível: agora até um PC gamer pode executar modelos avançados a velocidades interativas, utilizando pesos oficiais sem necessidade de quantização extrema.
Pesquisadores da UC Berkeley, MIT e UT Austin disponibilizaram o código-fonte do FreeToken — um sistema projetado especificamente para executar modelos ultra-grandes do tipo Mixture-of-Experts (MoE) em computadores comuns.
No artigo científico, eles apresentam resultados muito impressionantes:
- Qwen3.6 35B → Laptop com RTX 4060 8GB → 39 tokens/s
- DeepSeek-V4-Flash 284B → RTX 5090 → 22–25 tokens/s
- GLM-5.2 753B → RTX PRO 6000 → 15 tokens/s
Em comparação ao Ollama, a velocidade de geração é 3 a 4 vezes maior, e o processamento do contexto de entrada é 6 a 30 vezes mais rápido.
Isso significa que um laptop gamer com apenas 8GB de memória de vídeo já consegue rodar um modelo com 35 bilhões de parâmetros a quase 40 tokens por segundo.
E isso é ainda mais rápido do que a velocidade mediana de geração do Codex, de 33 tokens/s, mencionada pelos autores no artigo.
A ideia principal do FreeToken é fazer a GPU, CPU, RAM e PCIe trabalharem em conjunto.
Como os modelos MoE ativam apenas uma pequena parte dos especialistas para cada token, não há necessidade de manter centenas de bilhões de parâmetros na memória de vídeo o tempo todo.
O FreeToken decide quais partes do modelo manter na VRAM, quais mover temporariamente da RAM para a GPU e quais calcular na CPU.
Durante a etapa de processamento do contexto de entrada, o sistema pré-carrega os especialistas da próxima camada. Durante a geração, ele distribui dinamicamente os cálculos com base na velocidade atual da CPU, GPU e PCIe.
Há também um Cache de Estado de Agente separado.
Quando um agente chama ferramentas, altera o contexto ou continua uma tarefa antiga, o FreeToken pode pular grande parte do reprocessamento do contexto.
O FreeToken vem com uma interface gráfica completa.
Não é necessário converter modelos para GGUF nem compilar o projeto a partir do código-fonte.
Além disso, o FreeToken Desktop já possui integrações de agentes embutidas — você seleciona um modelo, escolhe uma aplicação e executa.
Por que isso importa
AnáliseEste sistema democratiza o acesso a tecnologias de IA avançadas, permitindo que usuários comuns executem modelos complexos em hardware padrão. Isso reduz significativamente as barreiras para desenvolvedores e pode transformar a forma como interagimos com a inteligência artificial.
Debater na comunidade
Compartilhe suas dúvidas e insights com desenvolvedores