Почему ИИ пропустил гром: как писать промпты звука и движения для эмбиент-видео

Вы просите грозу и получаете ровный дождь без грома. Добавляете в лес пение птиц, а птицы так и не поют. Описываете снег, который падает за окном, а снег почти не движется, зато свеча на подоконнике мерцает. Ничего не сломалось, ни один шаг не пропущен. Генеративный ИИ иногда так делает, и полезно понимать почему: от этого зависит, как написать следующий промпт.

Примеры мы берём из Every Mood Studio, но большая часть сказанного подходит для любого ИИ-инструмента для звука или видео.

Почему один и тот же промпт даёт разный результат?

ИИ-генератор не ищет звук или картинку в библиотеке. Он каждый раз создаёт их заново, и в этом процессе есть доля случайности. Запустите одно и то же описание дважды, и получите два разных варианта: в одном дождь сильнее, в другом другой ритм, в одной версии гром есть, в следующей его нет. Поэтому ни один инструмент не может обещать, что всё из описания окажется в звуке и в кадре.

Поэтому же в Every Mood Studio есть перегенерации. Каждый кредит, потраченный на проект, включает одну бесплатную перегенерацию чего угодно в нём: звука, картинки или видео-лупа. Дальше 1 кредит покрывает ещё 2, и приложение всегда спрашивает, прежде чем списать кредит. Неудачные генерации не считаются.

Как режим Звук превращает слова в звук

В режиме Звук модель звуковых эффектов делает по вашему описанию один 30-секундный фрагмент, и он повторяется всё видео, идёт оно 30 минут или 10 часов. Из этого следуют три вещи:

• Описание — единственная инструкция, которую получает модель. Текст из поля «Описание звука» уходит в генератор как есть, до 400 символов, с короткой припиской о бесшовном лупе. Только к описанию из нескольких слов спереди добавляется более полное базовое описание.
• Всё должно уместиться в те же 30 секунд. Каждый новый звук борется с остальными за эти секунды.
• Что попало во фрагмент, то и повторяется. Один удар грома во фрагменте вернётся каждые 30 секунд. Нет грома во фрагменте, значит, его нет и во всём видео.

Ещё генератор настроен звучать естественно, а не выполнять каждое слово буквально. Так атмосфера не звучит искусственно, но каждое слово в описании для него сильная просьба, а не приказ.

Почему пропадают звуки

Слишком много звуков

В тестах на реальных проектах в одном 30-секундном фрагменте надёжно получается около трёх разных звуков. Добавьте четвёртый, и какой-то из них, скорее всего, исчезнет. В описании «дождь, гром, треск огня, музыка ветра и сова» пять звуков, так что пары из них, скорее всего, не будет.

Один громкий звук закрывает остальные

Большой плотный звук вроде ливня, водопада или ревущего пламени модели сделать легко, и он может заполнить весь фрагмент от первой до последней секунды, не оставив места ничему, что звучит время от времени. Если гром главное, сделайте его основным звуком, а дождь умеренным.

Мягкие слова прячут звук

Звук, описанный как тихий, мягкий, едва слышный или далёкий (soft, gentle, faint, distant), часто выходит таким тихим, что его не различить. Если фоновый звук должно быть слышно, пишите «clearly audible» (хорошо слышный).

Редкий звук в 30 секундах — лотерея

Гром, лай собаки или гудок поезда звучат отдельными событиями, а не ровным фоном. За 30 секунд модель может вставить такой звук один раз, несколько раз или ни разу. Это главная причина послушать превью, прежде чем идти дальше.

Как написать промпт звука, который чаще получается

Примеры промптов здесь на английском, их можно вставить в поле «Описание звука» как есть. Перевод в скобках.

1. Начните с главного звука, который звучит всё время.
2. Потом напишите «In the background:» («на фоне:») и не больше двух звуков.
3. Укажите, как часто: «throughout» (всё время), «every few seconds» (каждые несколько секунд), «now and then» (время от времени).
4. Фоновые звуки называйте «clearly audible» (хорошо слышными), а не тихими или далёкими.
5. Напишите, чего не нужно: «no music, no voices» (без музыки, без голосов).

Гроза в такой форме:

Морской берег:

Кнопка «Улучшить с ИИ» сама пишет описания в такой форме: главный звук первым, до двух звуков после «In the background:» и никаких звуков, о которых вы не просили. Её текст можно поправить перед генерацией, и что останется в поле, ровно то и получит генератор.

Потом прослушайте все 30 секунд

Превью на шаге «Прослушивание» и есть тот самый фрагмент, который будет повторяться, а не отрывок чего-то более длинного. Прослушайте его целиком и задайте себе два вопроса. Есть ли здесь все нужные звуки? Не начнёт ли что-то раздражать, если будет возвращаться каждые 30 секунд? Если какого-то нужного звука нет, нажмите «Сгенерировать новую версию» или перепишите описание и попробуйте снова. Все версии остаются в списке, так что можно вернуться и оставить лучшую.

Почему картинка двигалась не так, как вы описали

Видео-луп устроен похоже. Вы выбираете одну из четырёх картинок, и модель, которая превращает картинку в видео, оживляет её в 10-секундный луп. Перед этим ИИ смотрит на картинку и пишет короткий промпт движения: что должно двигаться и как. Сколько движения достанется каждому элементу, решает аниматор. Сильное и заметное движение, например мерцающее пламя, может перетянуть всё на себя, а то, что вам на самом деле было важно, при этом почти не двигается.

С 20 октября, если в описании визуала сказано, что важнее всего (например, «what matters most: the falling snow», то есть важнее всего падающий снег), промпт движения начинается с этого и просит сделать это движение самым сильным. Можно управлять и самому:

• После первого лупа его промпт движения показан под видео. Если то, что вам важно, стоит не первым, нажмите на карандаш («Редактировать промпт движения»), напишите свой промпт или нажмите «ИИ-анализ изображения», чтобы получить новый вариант, а затем «Сгенерировать с этим промптом».
• Ставьте главное движение первым и держите список коротким: «Snowflakes drift down steadily past the window. The candle flame flickers. Static camera.» (Снежинки ровно падают за окном. Пламя свечи мерцает. Камера неподвижна.)
• Не упоминайте то, чему не нужно двигаться. Каждый лишний элемент забирает себе часть движения.
• Выбирайте картинку, где то, что движется, крупное и хорошо видно. Волны, которые заполняют весь кадр, покажут гораздо больше движения, чем узкая полоска моря на горизонте.

Когда перегенерации мало

Если вы попробовали пару версий, а звук или движение так и не появились, меняйте описание, а не повторяйте его: меньше звуков, пропавший звук первым, никаких «soft» и «тихий». Так перегенерация принесёт больше пользы, чем ещё одна попытка с тем же описанием.

Пошагово всё это разобрано в уроке видео с грозой и дождём, стекающим по окну, а в полном гиде по режиму Звук есть длительности и цены.

Частые вопросы

Сколько звуков может быть в одной генерации в режиме Звук?

Надёжно получается около трёх разных звуков: один главный, который звучит всё время, и до двух других. Если их больше, генератор обычно какие-то пропускает.

Помогает ли отделить главный звук от редких?

Генератор получает описание одним куском текста, отдельного поля для фоновых звуков нет. Главный звук первым, остальные после «In the background:» — самый понятный способ показать, что важнее всего. Так же строит описание и «Улучшить с ИИ».

Доходит ли текст от «Улучшить с ИИ» до генератора звука?

Да. Текст из поля «Описание звука» отправляется как есть, до 400 символов, и обрезается по концу предложения или слова. До 6 октября длинные описания обрезались на 200 символах, поэтому последние звуки в них могли теряться. Это исправлено.

Как сделать один звук непрерывным, а другие редкими?

Скажите это словами: «throughout» (всё время) для главного звука, «every few seconds» (каждые несколько секунд) или «now and then» (время от времени) для остальных. Модель следует этому чаще всего, но не всегда, так что проверяйте превью. Редкий звук, который попал во фрагмент, будет возвращаться каждые 30 секунд.

Как сделать, чтобы ритмичный звук шёл в одном темпе?

Всё видео повторяет один 30-секундный фрагмент, поэтому за часы темп никуда не уплывёт: если в превью он ровный, то и в видео ровный. Описывайте движение как движение («walking through snow», идти по снегу; «waves rolling in», накатывающие волны), а не «at an even pace» (в ровном темпе): в тестах с такими словами шаги звучали так, будто человек топчется на месте. Если темп меняется внутри превью, сгенерируйте новую версию.

Вернут ли мне кредиты, если результат не такой, как я хотел?

Кредиты оплачивают саму генерацию. Поэтому к каждому кредиту прилагается бесплатная перегенерация, а за результат, который просто отличается от задуманного, кредиты не возвращаются. Неудачные генерации не расходуют ваши перегенерации, а если что-то действительно сломалось, напишите нам.