Архітектура Qwen-4: нові досягнення в AI

Архітектура Qwen-4: нові досягнення в AI

Модель Scope запустила відлік до виходу Qwen3.8-Flash-Next. Її реліз відбудеться через добу, і це буде перша модель, побудована на архітектурі наступного покоління, на якій також буде засновано Qwen-4.

Основні характеристики Qwen-3.8 Flash-Next

Ця модель має MoE 125B + 51B N-gram таблицю (активних всього 6B), яка перевершує Opus 4.6 Max на 8 з 9 бенчмарків! Вона також перевершує Qwen3.8-27B і DeepSeek-V4-Flash, при цьому навчання коштувало в 9 разів дешевше, ніж Qwen3.7-Plus.

Ключові новшества архітектури

1. N-gram ембеддинги: Це таблиця, яка індексується не по одному токену, а по коротким послідовностям. Модель запам'ятовує типові локальні комбінації токенів у вигляді векторів, що дозволяє зменшити обчислення на токен і збільшити загальну ємність моделі.

2. Gated DeltaNet + Qwen Sparse Attention: Модель вибирає релевантні блоки контексту і працює тільки з ними. Gated DeltaNet – це лінійний механізм уваги з гейтами, які контролюють, що модель запам'ятовує, а що забуває. Результат: на 1М контексту prefill став в 7.6 разів швидшим, а decode – в 4.9 разів.

3. Gated Residual connections: Гейти в residual-зв'язках визначають, скільки інформації пропустити далі.

4. Оптимізатор Muon: Цей новий оптимізатор забезпечує 9-кратну економію на навчанні.

Висновок

В результаті навчання стало дешевшим, параметрів більше, а обчислень на токен менше. Це чергове досягнення китайського опенсорсу.