Архитектура Qwen-4: новые достижения в AI

Архитектура Qwen-4: новые достижения в AI

Модель Scope запустила отсчет до выхода Qwen3.8-Flash-Next. Ее релиз состоится через сутки, и это будет первая модель, построенная на архитектуре следующего поколения, на которой также будет основан Qwen-4.

Основные характеристики Qwen-3.8 Flash-Next

Эта модель имеет MoE 125B + 51B N-gram таблицу (активных всего 6B), которая превосходит Opus 4.6 Max на 8 из 9 бенчмарков! Она также превосходит Qwen3.8-27B и DeepSeek-V4-Flash, при этом обучение стоило в 9 раз дешевле, чем Qwen3.7-Plus.

Ключевые новшества архитектуры

1. N-gram эмбеддинги: Это таблица, которая индексируется не по одному токену, а по коротким последовательностям. Модель запоминает типичные локальные комбинации токенов в виде векторов, что позволяет уменьшить вычисления на токен и увеличить общую емкость модели.

2. Gated DeltaNet + Qwen Sparse Attention: Модель выбирает релевантные блоки контекста и работает только с ними. Gated DeltaNet – это линейный механизм внимания с гейтами, которые контролируют, что модель запоминает, а что забывает. Результат: на 1М контекста prefill стал в 7.6 раз быстрее, а decode – в 4.9 раз.

3. Gated Residual connections: Гейты в residual-связях определяют, сколько информации пропустить дальше.

4. Оптимизатор Muon: Этот новый оптимизатор обеспечивает 9-кратную экономию на обучении.

Вывод

В результате обучение стало дешевле, параметров больше, а вычислений на токен меньше. Это очередное достижение китайского опенсорса.