Arquitetura Qwen-4: Novos Avanços na IA

Arquitetura Qwen-4: Novos Avanços na IA

A Model Scope iniciou a contagem regressiva para o lançamento do Qwen3.8-Flash-Next. Seu lançamento ocorrerá em um dia, sendo este o primeiro modelo construído sobre a arquitetura de próxima geração, que também servirá como base para o Qwen-4.

Principais Características do Qwen-3.8 Flash-Next

Este modelo apresenta uma configuração MoE 125B + tabela N-gram de 51B (com apenas 6B ativos), superando o Opus 4.6 Max em 8 dos 9 benchmarks! Ele também supera o Qwen3.8-27B e o DeepSeek-V4-Flash, enquanto os custos de treinamento foram 9 vezes mais baratos do que os do Qwen3.7-Plus.

Principais Inovações na Arquitetura

1. Embeddings N-gram: Esta é uma tabela indexada não por um único token, mas por sequências curtas. O modelo memoriza combinações locais típicas de tokens diretamente como vetores, reduzindo os cálculos de tokens e aumentando a capacidade geral do modelo.

2. Gated DeltaNet + Qwen Sparse Attention: O modelo seleciona blocos de contexto relevantes e trabalha apenas com eles. O Gated DeltaNet é um mecanismo de atenção linear com portões que controlam o que o modelo lembra e o que esquece. Resultado: em um contexto de 1M, o prefill ficou 7,6 vezes mais rápido e o decode 4,9 vezes mais rápido.

3. Conexões Residuais com Portões (Gated): Os portões nas conexões residuais determinam quanto informação deve ser transmitida.

4. Otimizador Muon: Este novo otimizador proporciona uma economia de 9 vezes nos custos de treinamento.

Conclusão

Como resultado, o treinamento é mais barato, há mais parâmetros e menos computações por token. Este é mais um avanço da tecnologia open-source chinesa.