Промпт для синхронізації звуку з ШІ-відео в моушн-дизайні

Якщо ШІ-відео з моушн-дизайном, створені Opus 5.5, досі звучать як дешеві електронні «пищалки», спробуйте такий промпт.

Промпт для асистента:

Додайте звук до цього відео. Ви не вмієте чути, тому вимірюйте все і не покладайтеся на суб’єктивні відчуття. Якщо ffmpeg і librosa не встановлені, спочатку встановіть їх.

1. Використовуйте музику з відповідною ліцензією: або трек, який я надаю, або композицію з безкоштовною ліцензією Mixkit. Вкажіть джерело та ліцензію. Не генеруйте музику й звукові ефекти програмно.
2. Визначте частки музичного ритму за допомогою librosa. Іноді бібліотека помилково синхронізується зі слабкими частками, тому побудуйте графік звукової хвилі в діапазоні нижче 120 Гц, накладіть на нього сітку часток і збільште кілька тактів. Якщо удари бас-барабана не збігаються з сіткою, зсуньте всю сітку.
3. Синхронізуйте основні рухи — наприклад зміну сцен і появу заголовків — із музичними частками. Якщо анімацію можна змінити, змініть її. Якщо ні — зсуньте момент початку відтворення музики.
4. Для кожної зміни кадру та кожної значущої анімації використовуйте окремий готовий файл звукового ефекту: свистячий звук для руху, «поп» для появи елементів, клік для натискань і звук клавіатури для набору тексту. Спочатку використовуйте наявну бібліотеку звуків проєкту, наприклад ту, що постачається з HyperFrames. Якщо такої бібліотеки немає, запитайте мене.
5. Якщо в відео є закадровий голос, він має бути гучнішим за інші звуки, а гучність музики під час мовлення потрібно знижувати. Звукові ефекти мають бути гучнішими за музику. Орієнтуйтеся на загальну гучність приблизно -16 LUFS і піковий рівень нижче -4 dBFS, щоб уникнути кліпінгу після стиснення в AAC і при відтворенні через динамік телефону в моно. Вимірюйте гучність експортованого MP4 за допомогою фільтра ebur128 у ffmpeg. Не вимірюйте WAV-файл.
6. За допомогою ffmpeg вилучіть з експортованого MP4 по одному кадру до й після кожного моменту спрацювання звукового ефекту та побудуйте графік звукової хвилі для порівняння. Потім оберіть п’ять часових позначок, які я зможу перевірити в навушниках. Не стверджуйте, що звук вийшов хорошим.

Приклад із практики: Кілька днів тому під час підбору музики для відео librosa помилково синхронізувалася зі слабкими частками. Уся сітка ритму зсунулася на 0,22 секунди. Помилку виявили лише після накладання сітки на графік звукової хвилі в діапазоні нижче 120 Гц.