Génération de bandes-annonces de films via la décomposition de tâches : résultats : études sur l'ablation

Tableau des liens

• Résumé et introduction
• Travaux connexes
• Formulation du problème
• Montage expérimental
• Résultats et analyse
• Conclusions et références
• A. Détails du modèle
• B. Détails de mise en œuvre
• C. Résultats : études sur l'ablation

C. Résultats : études sur l'ablation

D. Analyse de décomposition des tâches

Comment la structure narrative se connecte aux bandes-annonces Selon la théorie de l'écriture de scénario [22], les cinq TP segmentent les films en six unités thématiques, à savoir « Mise en place », « Nouvelle situation », « Progrès », « Complications et enjeux plus élevés », « Poussée finale ». , et « Conséquences ». Pour examiner quelles parties du film sont les plus présentes dans une bande-annonce, nous calculons la répartition des plans par unité thématique dans les bandes-annonces dorées (en utilisant l'ensemble de développement étendu de TRIPOD). Comme le montre la figure 4, les bandes-annonces contiennent en moyenne des plans de toutes les sections d'un film, même des deux dernières, qui peuvent révéler la fin. De plus, la plupart des bandes-annonces (30,33 %) sont sélectionnées au milieu du film (c'est-à-dire Progrès) ainsi qu'à partir du début (c'est-à-dire 16,62 % et 25,45 % pour « Mise en place » et « Nouvelle situation », respectivement). Ces observations empiriques corroborent les principes de l'industrie en matière de création de remorques.[10]

Ensuite, nous trouvons à quelle fréquence les bandes-annonces incluent les différents types d'événements clés désignés par TP. Nous présentons le pourcentage de bandes-annonces (sur le plateau de développement) qui incluent au moins un plan par TP dans le tableau 7. Comme on peut le constater, plus de la moitié des bandes-annonces (soit 52,63 % et 55,26 %) incluent des plans liés au premier. deux TP, alors que seulement 34,21% des trailers disposent d'informations sur les deux derniers. Ceci est normal, puisque les premiers TP sont une introduction à l'histoire et donc plus importants pour la réalisation de bandes-annonces, alors que les deux derniers peuvent contenir des spoilers et sont souvent évités.

Comment le sentiment se connecte aux bandes-annonces Les règles empiriques pour la réalisation de bandes-annonces[11] suggèrent qu'une bande-annonce doit commencer par des plans d'intensité moyenne pour captiver les spectateurs, puis diminuer l'intensité du sentiment afin de fournir des informations clés sur le film, et enfin faire monter la tension. jusqu'à ce qu'il atteigne un point culminant.

Ici, nous analysons le flux de sentiments dans les bandes-annonces réelles de notre ensemble de développement en fonction des scores de sentiment prévus (voir sections 3.5 et 4). Plus précisément, nous calculons l'intensité absolue du sentiment (c'est-à-dire quelle que soit la polarité positive/négative) par plan dans les (vraies) bandes-annonces. Conformément à notre configuration expérimentale, nous mappons à nouveau les séquences de bande-annonce sur les séquences de films en fonction de la similitude visuelle et considérons les scores de sentiment correspondants prédits par notre réseau. Nous segmentons ensuite la bande-annonce en trois sections égales et calculons l'intensité moyenne absolue du sentiment par section. Le tableau 8 présente les résultats. Comme prévu, en moyenne, la deuxième partie est la moins intense, tandis que la troisième a la plus forte intensité de sentiment. Enfin, lorsque nous segmentons à nouveau chaque bande-annonce en trois sections égales et mesurons le flux de sentiments d'une section à la suivante, nous constatons que 46,67 % des bandes-annonces suivent une forme en « V », similaire à notre condition de sentiment pour générer des bandes-annonces de propositions avec GRAPHTRAILER. .

Exemples de parcours dans GRAPHTRAILER Nous présentons dans les figures 5 et 6 un exemple réel de la façon dont GRAPHTRAILER fonctionne sur un graphe clairsemé (shot) pour le film « The Shining ». Ici, nous montrons le fonctionnement interne de l'algorithme sur un graphique davantage élagué pour une meilleure visualisation (étape 1 ; Figure 5), alors qu'en réalité nous utilisons le graphique complet comme entrée dans GRAPHTRAILER.

Nous commençons par des plans identifiés comme TP1 (c'est-à-dire « Opportunité » ; événement d'introduction à l'histoire). Nous échantillonnons un plan (c'est-à-dire des nœuds vert vif dans le graphique) et initialisons notre chemin. Pour les étapes suivantes (2 à 7 ; en réalité, nous exécutons jusqu'à 10 étapes, mais nous en avons exclu quelques-unes par souci de concision), nous examinons uniquement le voisinage immédiat du nœud actuel et sélectionnons le prochain plan à inclure dans le chemin en fonction sur les critères suivants : (1) cohérence sémantique, (2) proximité temporelle, (3) structure narrative et (4) intensité des sentiments. Nous donnons plus de détails sur la manière dont nous formalisons et combinons ces critères dans la section 3.1.

Nous observons que notre algorithme parvient à rester proche des événements importants (nœuds colorés) lors de la création du chemin, ce qui signifie que nous réduisons la probabilité de sélectionner des plans aléatoires sans rapport avec l'histoire principale. Enfin, à l'étape 8, figure 6, nous assemblons la bande-annonce de la proposition en concaténant tous les plans du chemin récupéré. Nous illustrons également le chemin dans le graphique (c'est-à-dire la ligne rouge).

Un avantage de notre approche est qu’elle est interprétable et peut être facilement utilisée comme un outil avec un humain impliqué. Concrètement, compte tenu du voisinage immédiat à chaque étape, on pourrait sélectionner les plans en fonction de différents critères automatiques ou même manuellement. Notre approche réduit considérablement le nombre de plans à revoir pour créer des séquences de bande-annonce, à 10 % du film. De plus, nos critères permettent aux utilisateurs d'explorer différentes sections du film et de créer diverses bandes-annonces.

[10] https://archive.nytimes.com/www.nytimes.com/interactive/2013/02/19/movies/ awardsseason/oscar-trailers.html?_r=0

[11] https://www.derek-lieu.com/blog/2017/9/10/the Matrix-is-a-trailer-editors-dream