Autoren:  (1) Pinelopi Papalampidi, Institut für Sprache, Kognition und Berechnung, Fakultät für Informatik, Universität Edinburgh;  (2) Frank Keller, Institut für Sprache, Kognition und Berechnung, Fakultät für Informatik, Universität Edinburgh;  (3) Mirella Lapata, Institut für Sprache, Kognition und Berechnung, Fakultät für Informatik, Universität Edinburgh.  Linktabelle   Zusammenfassung und Einleitung   Ähnliche Projekte   Problem Formulierung   Versuchsaufbau   Ergebnisse und Analyse   Schlussfolgerungen und Referenzen   A. Modelldetails   B. Einzelheiten zur Umsetzung   C. Ergebnisse: Ablationsstudien  Abstrakt  Filmtrailer erfüllen mehrere Funktionen: Sie führen die Zuschauer in die Geschichte ein, vermitteln die Stimmung und den künstlerischen Stil des Films und animieren das Publikum, sich den Film anzusehen. Diese vielfältigen Funktionen machen die automatische Trailer-Generierung zu einem anspruchsvollen Unterfangen. Wir zerlegen sie in zwei Teilaufgaben: Identifizierung der narrativen Struktur und Vorhersage der Stimmung. Wir modellieren Filme als Graphen, wobei Knoten Aufnahmen darstellen und Kanten semantische Beziehungen zwischen ihnen bezeichnen. Wir lernen diese Beziehungen mithilfe eines gemeinsamen kontrastiven Trainings, das privilegierte Textinformationen (z. B. Charaktere, Handlungen, Situationen) aus Drehbüchern nutzt. Ein unbeaufsichtigter Algorithmus durchläuft dann den Graphen und generiert Trailer, die menschliche Bewerter denen vorziehen, die durch wettbewerbsorientierte, überwachte Ansätze generiert wurden.  1. Einleitung  Trailer sind kurze Videos, die zur Werbung für Filme verwendet werden und oft entscheidend für den kommerziellen Erfolg sind. Während ihre Hauptfunktion darin besteht, den Film einem breiten Publikum zu präsentieren, sind Trailer auch eine Form überzeugender Kunst und Werbeerzählung, die bei den Zuschauern den Wunsch wecken soll, den Film zu sehen. Obwohl die Herstellung von Trailern als künstlerisches Unterfangen gilt, hat die Filmindustrie Strategien entwickelt, die die Trailerkonstruktion leiten. Einer Denkrichtung zufolge müssen Trailer eine narrative Struktur aufweisen, die aus drei Akten besteht[1]. Der erste Akt stellt die Charaktere und den Aufbau der Geschichte vor, der zweite Akt führt den Hauptkonflikt ein und der dritte Akt erhöht die Spannung und liefert Teaser für das Ende. Eine andere Denkrichtung beschäftigt sich mehr mit der Stimmung des Trailers, die durch die Höhen und Tiefen der Geschichte definiert wird[2]. Nach diesem Ansatz sollten Trailer zunächst eine mittlere Intensität haben, um die Zuschauer zu fesseln, gefolgt von niedriger Intensität, um wichtige Informationen über die Geschichte zu liefern, und dann eine schrittweise Steigerung der Intensität, bis am Ende des Trailers ein Höhepunkt erreicht wird.   Um Trailer automatisch zu erstellen, müssen wir einfache Aufgaben wie Personenidentifikation, Handlungserkennung und Stimmungsvorhersage ausführen, aber auch anspruchsvollere, wie das Verstehen von Zusammenhängen zwischen Ereignissen und ihrer Kausalität sowie das Ziehen von Rückschlüssen über die Charaktere und ihre Handlungen. Angesichts der Komplexität der Aufgabe würde das direkte Erlernen all dieser Kenntnisse aus Film-Trailer-Paaren viele tausend Beispiele erfordern, deren Verarbeitung und Annotation eine Herausforderung wäre. Es ist daher nicht überraschend, dass sich frühere Ansätze zur automatischen Trailergenerierung [24,46,53] ausschließlich auf audiovisuelle Merkmale konzentrierten.  Inspiriert vom kreativen Prozess menschlicher Redakteure verfolgen wir einen Bottom-up-Ansatz zur Trailer-Generierung, den wir in zwei orthogonale, einfachere und klar definierte Teilaufgaben zerlegen. Die erste ist die Identifizierung der Erzählstruktur, d. h. das Abrufen der wichtigsten Ereignisse des Films. Eine häufig angewandte Theorie im Drehbuchschreiben [13,22,51] geht davon aus, dass es in der Handlung eines Films fünf Arten von Schlüsselereignissen gibt, die als Wendepunkte (TPs; siehe ihre Definitionen in Abbildung 1) bezeichnet werden. Die zweite Teilaufgabe ist die Vorhersage der Stimmung, die wir als Annäherung an den Intensitätsfluss zwischen den Aufnahmen und die hervorgerufenen Emotionen betrachten.  Wir erstellen Trailer für Vorschläge nach einem unüberwachten, graphenbasierten Ansatz. Wir modellieren Filme als Graphen, deren Knoten Aufnahmen sind und deren Kanten wichtige semantische Verbindungen zwischen Aufnahmen kennzeichnen (siehe Abbildung 2). Darüber hinaus tragen Knoten Beschriftungen, die angeben, ob es sich um Schlüsselereignisse (d. h. TPs) handelt, und Bewertungen, die die Intensität der Stimmung (positiv oder negativ) signalisieren. Unser Algorithmus durchläuft diesen Filmgraphen, um Trailersequenzen zu erstellen. Diese könnten als Vorschläge verwendet werden, die von einem menschlichen Redakteur überprüft und geändert werden können.  Sowohl die Aufgaben der TP-Identifizierung als auch der Stimmungsvorhersage profitieren von einem tieferen Verständnis des Filminhalts. Tatsächlich könnten wir handelsübliche Module zur Identifizierung von Figuren und Orten, zur Erkennung von Aktionen und zur Lokalisierung semantischer Einheiten einsetzen. Solche Ansätze erhöhen jedoch die Vorverarbeitungszeit und den Speicherbedarf während des Trainings und der Inferenz erheblich und leiden unter Fehlerfortpflanzung. Stattdessen schlagen wir ein kontrastives Lernverfahren vor, bei dem wir Drehbücher als privilegierte Informationen nutzen, d. h. Informationen, die nur zum Zeitpunkt des Trainings verfügbar sind. Drehbücher zeigen, wie der Film in Szenen unterteilt ist, wer die Figuren sind, wann und mit wem sie sprechen, wo sie sind und was sie tun (d. h. „Szenenüberschriften“ erklären, wo die Handlung stattfindet, während „Aktionslinien“ beschreiben, was die Kamera sieht). Konkret bauen wir zwei einzelne Netzwerke auf, ein Textnetzwerk basierend auf Drehbüchern und ein multimodales basierend auf Videos, und trainieren sie gemeinsam mithilfe zusätzlicher kontrastiver Verluste. Das Textnetzwerk kann zusätzlich über selbstüberwachtes Lernen anhand großer Sammlungen von Drehbüchern vortrainiert werden, ohne die entsprechenden Filme sammeln und verarbeiten zu müssen. Experimentelle Ergebnisse zeigen, dass dieser kontrastive Trainingsansatz von Vorteil ist und zu Trailern führt, die von Menschen hinsichtlich ihres Inhalts und ihrer Attraktivität positiv beurteilt werden.  Dieses Dokument ist   . auf arxiv unter der Lizenz CC BY-SA 4.0 DEED verfügbar  [1] https://www.studiobinder.com/blog/wie-macht-man-einen-filmtrailer  [2] https://www.derek-lieu.com/blog/2017/9/10/the-matrix-is-a-trailereditors-dream

Part of HackerNoon's growing list of open-source research papers, promoting free access to academic material.

Kinetopgraph.TECH

Read My Stories

kinetograph

Dieses Audio ist in der Originalsprache der Geschichte produziert!

Zu lang; Lesen

Boost your HackerNoon story @ $159.99! 🚀

Filmtrailer-Generierung durch Task Decomposition: Abstract und Intro

About Author

KOMMENTARE

Hängeetiketten

DIESER ARTIKEL WURDE VORGESTELLT IN

Related Stories

HackerNoon Decoded: The Top 10 Countries Where HackerNoon Is the Most Active

Welcome to HackerNoon Decoded: The Best of 2024 Tech Blogging

Starting 2025 with New Features: Settings Dashboard, HackerNoon Decoded, Updated Search UI, and More

HackerNoon Decoded 2024: Celebrating Our Management Community!

HackerNoon Decoded: The Top 10 Countries Where HackerNoon Is the Most Active

Welcome to HackerNoon Decoded: The Best of 2024 Tech Blogging

Starting 2025 with New Features: Settings Dashboard, HackerNoon Decoded, Updated Search UI, and More

HackerNoon Decoded 2024: Celebrating Our Management Community!

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps