FreeToken: нова система для запуску великих MoE-моделей на звичайних ПК
FreeToken — це нова система, що дозволяє запускати великі MoE-моделі на звичайних комп'ютерах, демонструючи вражаючі результати продуктивності.
Офигеть, тепер навіть ігровий ПК може запускати передові моделі з інтерактивною швидкістю, використовуючи офіційні ваги без екстремального квантування.
Дослідники з UC Berkeley, MIT і UT Austin відкрили вихідний код FreeToken — системи, спеціально створеної для запуску надвеликих MoE-моделей на звичайних комп'ютерах.
В статті вони показують дуже вражаючі результати:
- Qwen3.6 35B → ноутбук з RTX 4060 8 ГБ → 39 токенів/с
- DeepSeek-V4-Flash 284B → RTX 5090 → 22–25 токенів/с
- GLM-5.2 753B → RTX PRO 6000 → 15 токенів/с
Порівняно з Ollama, швидкість генерації вища в 3–4 рази, а обробка вхідного контексту — в 6–30 разів швидша.
Тобто ігровий ноутбук всього з 8 ГБ відеопам'яті вже може запускати модель на 35 млрд параметрів майже на 40 токенах в секунду.
І це навіть швидше медіанної швидкості генерації Codex у 33 токена/с, яку автори наводять у статті.
Головна ідея FreeToken в тому, щоб змусити GPU, CPU, оперативну пам'ять і PCIe працювати разом.
Оскільки MoE-моделі для кожного токена активують лише невелику частину експертів, немає необхідності постійно тримати сотні мільярдів параметрів у відеопам'яті.
FreeToken сам вирішує, які частини моделі залишити в VRAM, які тимчасово переносити з оперативної пам'яті на GPU, а які взагалі обробляти на CPU.
На етапі обробки вхідного контексту система заздалегідь завантажує експертів наступного шару. Під час генерації вона динамічно розподіляє обчислення залежно від поточної швидкості CPU, GPU і PCIe.
Є навіть окремий Agent State Cache.
Коли агент викликає інструменти, змінює контекст або продовжує стару задачу, FreeToken може пропускати велику частину повторної обробки контексту.
FreeToken постачається з повноцінним графічним інтерфейсом.
Не потрібно конвертувати моделі в GGUF або збирати проект з вихідного коду.
Також у FreeToken Desktop вже вбудовані агентні обв'язки - вибираєте модель, вибираєте додаток і запускаєте.
Чому це важливо
АналітикаЦя система дозволяє запускати великі моделі на звичайних комп'ютерах, що робить передові технології доступними для більш широкого кола користувачів. Це може суттєво змінити підходи до роботи з AI та зменшити бар'єри для розробників.
Обговорити новину у спільноті
Діліться своїм досвідом та думками з ШІ-розробниками
Пов'язані матеріали екосистеми
Практичні гайди, термінологія та агентські скіли
JSON — структуровані дані для програм, API та AI-агентів
Повний практичний посібник з формату JSON: синтаксичні правила, серіалізація через parse/stringify, робота з REST API, JSON Schema та структурований вивід для штучного інтелекту.
Формати DOCX та XLSX: коли потрібен повноцінний фінальний документ від ШІ
Повний практичний посібник з генерації та опрацювання документів DOCX і таблиць XLSX за допомогою ШІ: порівняння з Markdown та CSV, промпт-інжиніринг, робота з формулами та автоматизація в коді.
Mistral AI (Європейські відкриті та ефективні моделі)
Серія високоефективних відкритих та комерційних моделей від французького стартапу Mistral AI (Mistral 7B, Mixtral 8x7B, Mistral Large). Відомі компактністю, швидкістю та повагою до приватності даних.
MoE (Mixture of Experts - Суміш експертів)
Архітектурний підхід у глибокому навчанні, де важкі повнозв'язні шари трансформера розбиваються на десятки спеціалізованих підмереж («експертів»), а динамічний маршрутизатор активує лише невелику частину з них для кожного окремого токена.