Литературный и режиссёрский сценарий: фундамент для нейросетевой генерации видео.

В классическом кино любой сценарий существует в двух видах. Литературный сценарий это текст для актёров и продюсеров: сцены, диалоги, описания действия, мотивации персонажей. Режиссёрский сценарий это та же история, переписанная в визуальных параметрах: где стоит камера, какой план, какой ракурс, как камера движется, какой свет, межкадровый монтаж или внутрикадровый.

Это разделение придумано задолго до появления нейросетевых видеогенераторов, но оно почти идеально описывает, чего хочет от нас современная нейросеть для видео. И это не совпадение. Модели обучались на профессиональных видеоматериалах, размеченных в этих самых категориях. Поэтому два классических сценария это не просто полезная аналогия. Это рабочая база для составления запросов к нейросети.

Покажем это на одном сквозном примере, к которому будем возвращаться весь текст.

Сцена, которую мы будем разбирать.

Представьте сцену, которую вы хотите получить в виде десятисекундного видеоролика. Ночь, берег моря, в конце пирса стоит работающий маяк. К пирсу подъезжает машина, из неё выходит женщина и идёт к фигуре, ждущей её рядом с маяком. Это её осведомитель. Он должен показать ей фотографии, доказывающие, что её муж ей лжёт. Тревожная, недосказанная встреча.

Теперь посмотрим, что происходит, когда мы превращаем эту заявку в запрос к нейросети тремя разными способами.

Уровень 1: голое описание действия.

Самый частый запрос, который пишут начинающие, выглядит примерно так:
«Женщина встречается с мужчиной у маяка ночью, драматичная атмосфера, кинематографично».

Это ноль из двух сценариев. Нет ни драматургии, ни визуального решения. Модель закрывает всё значениями по умолчанию: средний общий план, неподвижная камера на уровне глаз, ровный лунный свет, лица в фокусе. Получится открытка. Атмосферы нет, сцены нет, ничего, кроме факта встречи.

Уровень 2: литературный сценарий.

Добавим то, что обычно есть в сценарии для актёров. Кто эти персонажи, что между ними, что они чувствуют.

«Женщина около тридцати лет, напряжённая и решительная, идёт к незнакомому мужчине-осведомителю, ждущему её под работающим маяком ночью. Она ему ещё не доверяет. В руках у него папка с фотографиями, которые разрушат её брак».

Стало содержательнее. Модель теперь понимает напряжение и характер фигур. Лица, поза, темп походки уже не будут случайными. Но визуально она по-прежнему свободна и снова достанет самый усреднённый кадр из своих весов: камера на уровне глаз, план средний, освещение мягкое. Это литературный сценарий без режиссёрского, типичная ситуация, когда запрос длинный, а результат серый.

Уровень 3: добавляем режиссёрский сценарий.

Дописываем то, что в кино пишут отдельным документом.

«Дальний общий план с нижнего ракурса, камера расположена чуть позади и…