paint-brush
Создание трейлера к фильму посредством декомпозиции задач: результаты: исследования абляциик@kinetograph

Создание трейлера к фильму посредством декомпозиции задач: результаты: исследования абляции

Слишком долго; Читать

В этой статье исследователи моделируют фильмы в виде графиков для создания трейлеров, определения структуры повествования и прогнозирования настроений, превосходя контролируемые методы.
featured image - Создание трейлера к фильму посредством декомпозиции задач: результаты: исследования абляции
Kinetograph: The Video Editing Technology Publication HackerNoon profile picture
0-item

Авторы:

(1) Пинелопи Папалампиди, Институт языка, познания и вычислений, Школа информатики, Эдинбургский университет;

(2) Фрэнк Келлер, Институт языка, познания и вычислений, Школа информатики, Эдинбургский университет;

(3) Мирелла Лапата, Институт языка, познания и вычислений, Школа информатики, Эдинбургский университет.

Таблица ссылок

C. Результаты: исследования абляции

D. Анализ декомпозиции задач

Как повествовательная структура связана с трейлерами Согласно теории сценарного мастерства [22], пять TP разделяют фильмы на шесть тематических блоков, а именно: «Монтаж», «Новая ситуация», «Прогресс», «Осложнения и более высокие ставки», «Последний толчок». и «Последствия». Чтобы изучить, какие части фильма наиболее часто встречаются в трейлере, мы вычисляем распределение кадров по тематическим единицам в золотых трейлерах (используя расширенный набор разработки TRIPOD). Как показано на рисунке 4, трейлеры в среднем содержат кадры из всех частей фильма, даже из двух последних, которые могут раскрыть финал. При этом большинство кадров трейлера (30,33%) выбрано как с середины фильма (т.е. «Прогресс»), так и с начала (т.е. 16,62% и 25,45% для «Монтаж» и «Новая ситуация» соответственно). Эти эмпирические наблюдения подтверждают отраслевые принципы создания прицепов.[10]


Далее мы узнаем, как часто трейлеры включают в себя различные типы ключевых событий, обозначаемых TP. В таблице 7 мы представляем процент трейлеров (в наборе разработки), которые включают хотя бы один кадр на TP. Как видно, более половины трейлеров (т. е. 52,63% и 55,26%) включают кадры, относящиеся к первому ролику. два ТП, тогда как только 34,21% трейлеров имеют какую-либо информацию о двух последних. Это ожидаемо, поскольку первые TP являются вводными к истории и, следовательно, более важны для создания трейлеров, тогда как последние два могут содержать спойлеры, и их часто избегают.


Как настроение связано с трейлерами Эмпирические правила создания трейлеров[11] предполагают, что трейлер должен начинаться с кадров средней интенсивности, чтобы увлечь зрителей, затем уменьшать интенсивность настроений, чтобы донести ключевую информацию о фильме, и, наконец, нагнетать напряжение. пока не достигнет кульминации.


Здесь мы анализируем поток настроений в реальных трейлерах из нашего набора разработки на основе прогнозируемых оценок настроений (см. разделы 3.5 и 4). В частности, мы вычисляем абсолютную интенсивность настроений (т. е. независимо от положительной/отрицательной полярности) для каждого кадра в (настоящих) трейлерах. В соответствии с нашей экспериментальной установкой мы снова сопоставляем кадры трейлера с кадрами фильма на основе визуального сходства и учитываем соответствующие оценки настроений, предсказанные нашей сетью. Затем мы разделяем трейлер на три равные части и вычисляем среднюю абсолютную интенсивность настроений для каждой секции. В Таблице 8 представлены результаты. Как и ожидалось, в среднем вторая часть наименее интенсивна, тогда как третья имеет наибольшую интенсивность настроений. Наконец, когда мы снова разделим каждый трейлер на три равные части и измерим поток настроений от одного раздела к другому, мы обнаружим, что 46,67% трейлеров имеют форму буквы «V», что аналогично нашему условию настроений для создания трейлеров предложений с помощью GRAPHTRAILER. .


Примеры обходов в GRAPHTRAILER На рисунках 5 и 6 мы представляем реальный пример того, как GRAPHTRAILER работает с разреженным (кадровым) графом для фильма «Сияние». Здесь мы показываем внутреннюю работу алгоритма на дополнительном сокращенном графике для лучшей визуализации (шаг 1; рисунок 5), хотя на самом деле мы используем полный граф в качестве входных данных для GRAPHTRAILER.


Рисунок 5. Запуск алгоритма GRAPHTRAILER для фильма «Сияние». Шаг 1 иллюстрирует график уровня кадров (обрезанный для лучшей визуализации) с цветными узлами, представляющими различные типы TP, предсказанных в фильме (т. е. TP1, TP2, TP3, TP4, TP5). Наш алгоритм начинается с выборки кадра, обозначенного ВИДЕОГРАФОМ как TP1 (шаг 1). На каждом следующем шаге мы рассматриваем только ближайшее окружение текущего кадра (т. е. 6–12 соседей) и выбираем следующий кадр на основе следующих критериев: (1) смысловое сходство, (2) временная близость, (3) повествовательность. структура и (4) интенсивность настроений (шаги 2-4). Наш алгоритм продолжается на рисунке 6.


Мы начинаем с кадров, которые обозначены как TP1 (т. е. «Возможность»; вступительное событие к истории). Мы выбираем снимок (т. е. ярко-зеленые узлы на графике) и инициализируем наш путь. Для следующих шагов (2–7; на самом деле мы выполняем до 10 шагов, но для краткости мы исключили некоторые из них) мы исследуем только непосредственную окрестность текущего узла и выбираем следующий кадр для включения в путь на основе по следующим критериям: (1) смысловая связность, (2) временная близость, (3) структура повествования и (4) интенсивность настроений. Более подробно о том, как мы формализуем и объединяем эти критерии, мы рассказываем в разделе 3.1.


Мы наблюдаем, что нашему алгоритму удается оставаться рядом с важными событиями (цветными узлами) при создании пути, а это означает, что мы уменьшаем вероятность выбора случайных кадров, не имеющих отношения к основной истории. Наконец, на шаге 8, рис. 6, мы собираем трейлер предложения, объединяя все кадры в полученном пути. Мы также проиллюстрировали путь на графике (т. е. красной линией).


Преимущество нашего подхода в том, что он легко интерпретируется и может быть легко использован в качестве инструмента, в котором может участвовать человек. В частности, учитывая ближайшее окружение на каждом шаге, можно было выбирать кадры по разным автоматическим критериям или даже вручную. Наш подход радикально сокращает количество кадров, которые необходимо просмотреть для создания трейлеров, до 10 % всего фильма. Более того, наши критерии позволяют пользователям исследовать разные части фильма и создавать разнообразные трейлеры.

Рисунок 6. Мы продолжаем строить путь трейлера, выбирая следующий кадр из ближайшего окружения на основе интерпретируемых критериев (шаги 5–7). Наконец, мы собираем трейлер предложения, объединяя кадры в пути. Наш алгоритм позволяет пользователям просматривать снимки-кандидаты на каждом этапе и вручную выбирать лучший с учетом наших критериев. GRAPHTRAILER позволяет пользователям создавать трейлеры, просматривая только около 10 % фильма на основе поддающихся интерпретации рекомендаций (например, соответствия предыдущему кадру, соответствия сюжету или интенсивности).


Этот документ доступен на arxiv под лицензией CC BY-SA 4.0 DEED.


[10] https://archive.nytimes.com/www.nytimes.com/interactive/2013/02/19/movies/wards Season/oscar-trailers.html?_r=0


[11] https://www.derek-lieu.com/blog/2017/9/10/theматрица-is-a-trailer-editors-dream