paint-brush
Filmtrailer-Generierung durch Aufgabenzerlegung: Ergebnisse: Ablationsstudienvon@kinetograph

Filmtrailer-Generierung durch Aufgabenzerlegung: Ergebnisse: Ablationsstudien

Zu lang; Lesen

In diesem Artikel modellieren Forscher Filme als Diagramme, um Trailer zu generieren, narrative Strukturen zu identifizieren und Stimmungen vorherzusagen, und übertreffen damit überwachte Methoden.
featured image - Filmtrailer-Generierung durch Aufgabenzerlegung: Ergebnisse: Ablationsstudien
Kinetograph: The Video Editing Technology Publication HackerNoon profile picture
0-item

Autoren:

(1) Pinelopi Papalampidi, Institut für Sprache, Kognition und Berechnung, Fakultät für Informatik, Universität Edinburgh;

(2) Frank Keller, Institut für Sprache, Kognition und Berechnung, Fakultät für Informatik, Universität Edinburgh;

(3) Mirella Lapata, Institut für Sprache, Kognition und Berechnung, Fakultät für Informatik, Universität Edinburgh.

Linktabelle

C. Ergebnisse: Ablationsstudien

D. Aufgabenzerlegungsanalyse

Wie narrative Struktur mit Trailern zusammenhängt Laut Drehbuchtheorie [22] segmentieren die fünf TPs Filme in sechs thematische Einheiten, nämlich „Setup“, „Neue Situation“, „Fortschritt“, „Komplikationen und höhere Einsätze“, „Endspurt“ und „Nachwirkungen“. Um zu untersuchen, welche Teile des Films in einem Trailer am häufigsten vorkommen, berechnen wir die Verteilung der Einstellungen pro thematischer Einheit in Gold-Trailern (mithilfe des erweiterten Entwicklungssatzes von TRIPOD). Wie in Abbildung 4 dargestellt, enthalten Trailer im Durchschnitt Einstellungen aus allen Abschnitten eines Films, sogar aus den letzten beiden, die das Ende verraten könnten. Darüber hinaus werden die meisten Trailer-Einstellungen (30,33 %) aus der Mitte des Films (also dem Fortschritt) sowie vom Anfang ausgewählt (d. h. 16,62 % und 25,45 % für „Setup“ bzw. „Neue Situation“). Diese empirischen Beobachtungen bestätigen die Branchenprinzipien für die Erstellung von Trailern. [10]


Als nächstes finden wir heraus, wie oft die Trailer die verschiedenen Arten von Schlüsselereignissen enthalten, die durch TPs gekennzeichnet sind. Den Prozentsatz der Trailer (auf dem Entwicklungsset), die mindestens eine Einstellung pro TP enthalten, stellen wir in Tabelle 7 dar. Wie man sehen kann, enthalten mehr als die Hälfte der Trailer (d. h. 52,63 % und 55,26 %) Einstellungen, die mit den ersten beiden TPs in Zusammenhang stehen, während nur 34,21 % der Trailer Informationen zu den beiden letzten TPs enthalten. Dies ist zu erwarten, da die ersten TPs in die Geschichte einführen und daher für die Erstellung von Trailern wichtiger sind, während die letzten beiden Spoiler enthalten können und oft vermieden werden.


Wie sich Stimmungen auf Trailer auswirken Empirische Regeln für die Trailer-Erstellung[11] besagen, dass ein Trailer mit Einstellungen mittlerer Intensität beginnen sollte, um die Zuschauer zu fesseln. Dann sollte die Stimmungsintensität abnehmen, um wichtige Informationen über den Film zu liefern, und schließlich sollte die Spannung aufgebaut werden, bis ein Höhepunkt erreicht ist.


Hier analysieren wir den Stimmungsfluss in echten Trailern aus unserem Entwicklungsset basierend auf vorhergesagten Stimmungswerten (siehe Abschnitte 3.5 und 4). Insbesondere berechnen wir die absolute Stimmungsintensität (d. h. unabhängig von positiver/negativer Polarität) pro Einstellung in den (echten) Trailern. In Übereinstimmung mit unserem Versuchsaufbau ordnen wir Traileraufnahmen erneut basierend auf visueller Ähnlichkeit Filmaufnahmen zu und berücksichtigen die entsprechenden von unserem Netzwerk vorhergesagten Stimmungswerte. Anschließend segmentieren wir den Trailer in drei gleiche Abschnitte und berechnen die durchschnittliche absolute Stimmungsintensität pro Abschnitt. In Tabelle 8 sind die Ergebnisse dargestellt. Wie erwartet ist der zweite Teil im Durchschnitt am wenigsten intensiv, während der dritte die höchste Stimmungsintensität aufweist. Wenn wir schließlich jeden Trailer erneut in drei gleiche Abschnitte segmentieren und den Stimmungsfluss von einem Abschnitt zum nächsten messen, stellen wir fest, dass 46,67 % der Trailer einer „V“-Form folgen, ähnlich unserer Stimmungsbedingung für die Generierung von Angebotstrailern mit GRAPHTRAILER.


Beispiele für Walks in GRAPHTRAILER In den Abbildungen 5 und 6 präsentieren wir ein reales Beispiel, wie GRAPHTRAILER mit einem spärlichen (Aufnahme-)Graphen für den Film „The Shining“ arbeitet. Hier zeigen wir die Funktionsweise des Algorithmus an einem weiter beschnittenen Graphen zur besseren Visualisierung (Schritt 1; Abbildung 5), während wir in Wirklichkeit den vollständigen Graphen als Eingabe für GRAPHTRAILER verwenden.


Abbildung 5. Ausführung des GRAPHTRAILER-Algorithmus für den Film „The Shining“. Schritt 1 zeigt den Shot-Level-Graph (zur besseren Visualisierung beschnitten) mit farbigen Knoten, die die verschiedenen im Film vorhergesagten TP-Typen darstellen (d. h. TP1, TP2, TP3, TP4, TP5). Unser Algorithmus beginnt mit der Stichprobennahme eines Shots, der von VIDEOGRAPH als TP1 identifiziert wurde (Schritt 1). Für jeden nächsten Schritt berücksichtigen wir nur die unmittelbare Nachbarschaft des aktuellen Shots (d. h. 6–12 Nachbarn) und wählen den nächsten Shot anhand der folgenden Kriterien aus: (1) semantische Ähnlichkeit, (2) zeitliche Nähe, (3) narrative Struktur und (4) Stimmungsintensität (Schritte 2–4). Unser Algorithmus wird in Abbildung 6 fortgesetzt.


Wir beginnen mit Aufnahmen, die als TP1 (d. h. „Gelegenheit“; einleitendes Ereignis für die Geschichte) identifiziert wurden. Wir wählen eine Aufnahme aus (d. h. hellgrüne Knoten im Diagramm) und initialisieren unseren Pfad. Für die nächsten Schritte (2–7; in Wirklichkeit führen wir bis zu 10 Schritte aus, haben aber der Kürze halber einige ausgelassen) untersuchen wir nur die unmittelbare Umgebung des aktuellen Knotens und wählen die nächste Aufnahme, die in den Pfad aufgenommen werden soll, basierend auf den folgenden Kriterien aus: (1) semantische Kohärenz, (2) zeitliche Nähe, (3) narrative Struktur und (4) Stimmungsintensität. Wir geben in Abschnitt 3.1 weitere Einzelheiten darüber, wie wir diese Kriterien formalisieren und kombinieren.


Wir beobachten, dass es unserem Algorithmus gelingt, beim Erstellen des Pfads in der Nähe wichtiger Ereignisse (farbige Knoten) zu bleiben, was bedeutet, dass wir die Wahrscheinlichkeit verringern, zufällige Aufnahmen auszuwählen, die für die Hauptgeschichte irrelevant sind. Schließlich stellen wir in Schritt 8, Abbildung 6, den Vorschlagstrailer zusammen, indem wir alle Aufnahmen im abgerufenen Pfad aneinanderreihen. Wir veranschaulichen den Pfad auch in der Grafik (d. h. rote Linie).


Ein Vorteil unseres Ansatzes ist, dass er interpretierbar ist und leicht als Werkzeug mit menschlicher Beteiligung verwendet werden kann. Insbesondere könnte man angesichts der unmittelbaren Nachbarschaft bei jedem Schritt Aufnahmen anhand verschiedener automatischer Kriterien oder sogar manuell auswählen. Unser Ansatz reduziert die Anzahl der Aufnahmen, die zur Erstellung von Trailersequenzen überprüft werden müssen, drastisch auf 10 % des Films. Darüber hinaus ermöglichen unsere Kriterien den Benutzern, verschiedene Abschnitte des Films zu erkunden und unterschiedliche Trailer zu erstellen.

Abbildung 6. Wir fahren mit dem Erstellen des Trailerpfads fort, indem wir die nächste Aufnahme aus der unmittelbaren Nachbarschaft anhand interpretierbarer Kriterien auswählen (Schritte 5–7). Schließlich stellen wir den Vorschlagstrailer zusammen, indem wir die Aufnahmen im Pfad aneinanderreihen. Unser Algorithmus ermöglicht es den Benutzern, in jedem Schritt die in Frage kommenden Aufnahmen zu überprüfen und unter Berücksichtigung unserer Kriterien manuell die beste auszuwählen. GRAPHTRAILER ermöglicht es den Benutzern, Trailer zu erstellen, indem sie nur etwa 10 % des Films anhand interpretierbarer Empfehlungen überprüfen (z. B. Kohärenz mit der vorherigen Aufnahme, Relevanz für die Geschichte oder Intensität).



[10] https://archive.nytimes.com/www.nytimes.com/interactive/2013/02/19/movies/ awardsseason/oscar-trailers.html?_r=0


[11] https://www.derek-lieu.com/blog/2017/9/10/the matrix-is-a-trailer-editors-dream