Nano Banana für Audio: Tencent stellt AuK vor
Tencent hat mit AuK ein neues Modell zur Sprachgenerierung und -bearbeitung vorgestellt, das durch umfassende Voice-Customization-Funktionen besticht.
Nano Banana für Audio
Tencent hat AuK auf den Markt gebracht, ein System zur Sprachgenerierung und -bearbeitung. Das 1,5-Milliarden-Parameter-Modell wandelt Text in Sprache um und bearbeitet vorhandene Aufnahmen anhand von Textanweisungen über eine einzige Schnittstelle. Es kann Stimmen basierend auf Referenzen klonen, Wörter ändern, ohne die gesamte Phrase neu aufnehmen zu müssen, Akzente und Rauschen entfernen sowie Timbre, Emotion, Geschwindigkeit und Tonhöhe anpassen. Zudem ist es in der Lage, Sprecher oder Gesang vom restlichen Mix zu trennen.
Das Modell wurde auf 1,95 Millionen Stunden „effektiver Trainingsaudio“ trainiert. Für das Verständnis der Anweisungen wird separat Qwen2.5-Omni-3B verwendet, was bedeutet, dass die 1,5 Milliarden Parameter nicht die vollständige Größe des Gesamtsystems widerspiegeln. Neben der Basisversion wurde auch AuK-Flash veröffentlicht. Diese Variante führt nur 4 statt 32 Schritte aus und arbeitet 4,5-mal schneller. Code, Gewichte und ComfyUI-Nodes sind bereits für praktische Experimente verfügbar.
Links
Warum das wichtig ist
AnalyseDiese Technologie hat das Potenzial, den Prozess der Sprachgenerierung und -bearbeitung erheblich zu vereinfachen, was in verschiedenen Bereichen von Medien bis Bildung von großem Nutzen sein könnte.
In der Community diskutieren
Teile deine Fragen und Erkenntnisse mit Entwicklern