Nano Banana dla audio: Tencent wprowadza model AuK do generowania i edycji mowy
Tencent zaprezentował AuK, zaawansowany model do generowania i edycji mowy, oferujący potężne możliwości personalizacji głosu. Narzędzie pozwala na klonowanie głosów oraz precyzyjną edycję nagrań bez konieczności ponownego nagrywania.
Nano Banana dla audio
Tencent uruchomił AuK – system służący do generowania i edycji mowy. Jest to model o wielkości 1,5 miliarda parametrów, który przekształca tekst w mowę oraz edytuje gotowe nagrania na podstawie instrukcji tekstowych, wszystko to w ramach jednego interfejsu. Technologia umożliwia klonowanie głosów na podstawie próbek referencyjnych, zmianę pojedynczych słów bez konieczności re-recordingu całej frazy, usuwanie akcentów i szumów, a także regulację barwy, emocji, tempa i wysokości tonu. Dodatkowo, AuK potrafi oddzielić głos mówcy lub wokale od reszty miksu.
Model został wytrenowany na zbiorze 1,95 miliona godzin „efektywnego audio treningowego”. W celu zrozumienia instrukcji użytkownika wykorzystywany jest osobno model Qwen2.5-Omni-3B, co oznacza, że 1,5 miliarda parametrów nie stanowi pełnej wielkości całego systemu. Oprócz wersji podstawowej udostępniono również AuK-Flash, który wykonuje tylko 4 kroki inferencji zamiast standardowych 32, działając przy tym 4,5 raza szybciej. Kod źródłowy, wagi modelu oraz węzły ComfyUI są już dostępne do samodzielnych eksperymentów.
Linki
Dlaczego to ważne
AnalizaTa technologia ma potencjał znacznego uproszczenia procesów tworzenia i postprodukcji treści audio, co przyniesie korzyści w wielu branżach, od mediów po edukację.
Dyskutuj w społeczności
Dziel się swoimi pytaniami i spostrzeżeniami z programistami