Nano Banana para Áudio

A Tencent lançou o AuK, uma solução dedicada à geração e edição de fala. Trata-se de um modelo de 1,5 bilhão de parâmetros que transforma texto em áudio e edita gravações prontas com base em instruções textuais, tudo através de uma interface unificada. O sistema é capaz de clonar vozes a partir de referências, alterar palavras específicas sem necessidade de regravação completa da frase, remover sotaques e ruídos, ajustar timbre, emoção, velocidade e tom, além de separar a voz do locutor ou dos vocais da mixagem geral.

O modelo foi treinado utilizando 1,95 milhão de horas de "áudio de treinamento efetivo". Para a compreensão das instruções, utiliza-se separadamente o Qwen2.5-Omni-3B, o que significa que os 1,5 bilhões de parâmetros não representam o tamanho total do sistema. Além da versão base, foi liberada a variante AuK-Flash, que executa apenas 4 etapas em vez de 32, operando 4,5 vezes mais rápido. O código, os pesos do modelo e os nós para ComfyUI já estão disponíveis para experimentação prática.

Links

• Demo
• Code
• Weights