FreeToken: новая система для запуска больших MoE-моделей на обычных ПК
FreeToken — это новая система, позволяющая запускать большие MoE-модели на обычных компьютерах, демонстрируя впечатляющие результаты производительности.
Офигеть, теперь даже игровой ПК может запускать передовые модели с интерактивной скоростью, используя официальные веса без экстремального квантования.
Исследователи из UC Berkeley, MIT и UT Austin открыли исходный код FreeToken — системы, специально созданной для запуска сверхбольших MoE-моделей на обычных компьютерах.
В статье они показывают очень впечатляющие результаты:
- Qwen3.6 35B → ноутбук с RTX 4060 8 ГБ → 39 токенов/с
- DeepSeek-V4-Flash 284B → RTX 5090 → 22–25 токенов/с
- GLM-5.2 753B → RTX PRO 6000 → 15 токенов/с
По сравнению с Ollama скорость генерации выше в 3–4 раза, а обработка входного контекста — в 6–30 раз быстрее.
То есть игровой ноутбук всего с 8 ГБ видеопамяти уже может запускать модель на 35 млрд параметров почти на 40 токенах в секунду.
И это даже быстрее медианной скорости генерации Codex в 33 токена/с, которую авторы приводят в статье.
Главная идея FreeToken в том, чтобы заставить GPU, CPU, оперативную память и PCIe работать вместе.
Поскольку MoE-модели для каждого токена активируют только небольшую часть экспертов, нет необходимости постоянно держать сотни миллиардов параметров в видеопамяти.
FreeToken сам решает, какие части модели оставить в VRAM, какие временно переносить из оперативной памяти на GPU, а какие вообще считать на CPU.
На этапе обработки входного контекста система заранее загружает экспертов следующего слоя. Во время генерации она динамически распределяет вычисления в зависимости от текущей скорости CPU, GPU и PCIe.
Есть даже отдельный Agent State Cache.
Когда агент вызывает инструменты, меняет контекст или продолжает старую задачу, FreeToken может пропускать большую часть повторной обработки контекста.
FreeToken поставляется с полноценным графическим интерфейсом.
Не нужно конвертировать модели в GGUF или собирать проект из исходного кода.
Также в FreeToken Desktop уже встроены агентные обвязки - выбираете модель, выбираете приложение и запускаете.
Почему это важно
АналитикаЭта система позволяет запускать большие модели на обычных компьютерах, что делает передовые технологии доступными для более широкого круга пользователей. Это может существенно изменить подходы к работе с AI и снизить барьеры для разработчиков.
Обсудить в сообществе
Делитесь опытом и мыслями с ИИ-разработчиками
Связанные материалы экосистемы
Практические гайды, терминология и агентские скиллы
JSON — структурированные данные для программ, API и AI-агентов
Полное практическое руководство по формату JSON: синтаксические правила, сериализация через parse/stringify, работа с REST API, валидация по JSON Schema и структурированный вывод для ИИ.
Форматы DOCX и XLSX: когда от ИИ требуется полноценный финальный документ
Практическое руководство по созданию и обработке документов DOCX и таблиц XLSX с помощью ИИ: сравнение с Markdown и CSV, промпт-инжиниринг, работа с формулами и автоматизация в коде.
Mistral AI (Европейские открытые и эффективные модели)
Серия высокоэффективных открытых и коммерческих моделей от французского стартапа Mistral AI (Mistral 7B, Mixtral 8x7B, Mistral Large). Известны компактностью, скоростью и уважением к приватности данных.
MoE (Mixture of Experts - Смесь Экспертов)
Архитектурный подход в глубоком обучении, где тяжелые полносвязные слои трансформера разбиваются на десятки специализированных подсетей («экспертов»), а динамический маршрутизатор активирует лишь небольшую часть из них для каждого отдельного токена.