Nano Banana pour l'audio : Tencent lance AuK
Tencent a dévoilé AuK, un modèle de génération et d'édition vocale offrant des capacités avancées de personnalisation. Cette innovation permet de transformer le texte en parole et de modifier les enregistrements existants via une interface unique.
Nano Banana pour l'audio
Tencent a lancé AuK, dédié à la génération et à l'édition de la parole. Ce modèle de 1,5 milliard de paramètres transforme le texte en audio et modifie les enregistrements prêts à l'emploi sur la base d'instructions textuelles, le tout via une interface unique. Il est capable de cloner des voix à partir de références, de changer des mots sans réenregistrer toute la phrase, de supprimer les accents et le bruit, d'ajuster le timbre, l'émotion, la vitesse et la hauteur, ainsi que de séparer le locuteur ou les voix du mixage.
Le modèle a été entraîné sur 1,95 million d'heures d'« audio d'entraînement efficace ». Pour la compréhension des instructions, Qwen2.5-Omni-3B est utilisé séparément, ce qui signifie que les 1,5 milliard de paramètres ne représentent pas la taille totale du système. En plus de la version de base, AuK-Flash a été publié. Il effectue 4 étapes au lieu de 32 et fonctionne 4,5 fois plus vite. Le code, les poids du modèle et les nœuds ComfyUI sont déjà disponibles pour permettre des expérimentations pratiques.
Liens
Pourquoi c'est important
AnalyseCette technologie a le potentiel de simplifier considérablement le processus de génération et d'édition de la parole, offrant des avantages majeurs dans divers secteurs, allant des médias à l'éducation.
Discuter dans la communauté
Partagez vos questions et vos idées avec les développeurs