通过任务分解生成电影预告片：结果：消融研究

经过 Kinetograph: The Video Editing Technology Publication5m2024/06/07

太長; 讀書

在本文中，研究人员将电影建模为图形来生成预告片，识别叙事结构并预测情绪，超越了监督方法。

作者：

（1）Pinelopi Papalampidi，爱丁堡大学信息学院语言、认知和计算研究所；

（2）弗兰克·凯勒，英国爱丁堡大学信息学院语言、认知和计算研究所；

（3）米雷拉·拉帕塔（Mirella Lapata），爱丁堡大学信息学院语言、认知和计算研究所

链接表

C. 结果：消融研究

D.任务分解分析

叙事结构如何与预告片相联系根据剧本创作理论 [22]，五位 TP 将电影分为六个主题单元，即“设置”、“新情况”、“进展”、“复杂化和更高风险”、“最后一击”和“后果”。为了检查电影的哪些部分在预告片中最为常见，我们计算了黄金预告片中每个主题单元的镜头分布（使用 TRIPOD 的扩展开发集）。如图 4 所示，预告片平均包含电影所有部分的镜头，甚至包括可能揭示结局的最后两个部分的镜头。此外，大多数预告片镜头（30.33%）都是从电影的中间部分（即“进展”）和开头部分（即“设置”和“新情况”分别占 16.62% 和 25.45%）中选择的。这些实证观察证实了预告片创作的行业原则。[10]

接下来，我们找出预告片包含不同类型的关键事件（TP）的频率。我们在表 7 中列出了（在开发集中）包含每个 TP 至少一个镜头的预告片的百分比。可以看出，超过一半的预告片（即 52.63% 和 55.26%）包含与前两个 TP 相关的镜头，而只有 34.21% 的预告片包含有关最后两个 TP 的任何信息。这是意料之中的，因为第一个 TP 是故事的介绍，因此对于制作预告片更为重要，而最后两个 TP 可能包含剧透，因此通常会被避免。

情感如何与预告片相联系预告片制作的经验规则[11]表明，预告片应该以中等强度的镜头开始，以吸引观众，然后降低情感强度，以传递有关电影的关键信息，最后逐渐建立紧张气氛，直至达到高潮。

在这里，我们根据预测的情绪分数分析了来自我们开发集的真实预告片中的情绪流（参见第 3.5 和 4 节）。具体来说，我们计算（真实）预告片中每个镜头的绝对情绪强度（即，无论正极性/负极性如何）。根据我们的实验设置，我们再次根据视觉相似性将预告片镜头映射到电影镜头，并考虑我们的网络预测的相应情绪分数。然后，我们将预告片分成三个相等的部分，并计算每个部分的平均绝对情绪强度。表 8 显示了结果。正如预期的那样，平均而言，第二部分的情绪强度最低，而第三部分的情绪强度最高。最后，当我们再次将每个预告片分成三个相等的部分并测量从一个部分到下一个部分的情绪流时，我们发现 46.67% 的预告片呈“V”形，类似于我们使用 GRAPHTRAILER 生成提案预告片的情绪条件。

GRAPHTRAILER 中的行走示例我们在图 5 和图 6 中展示了 GRAPHTRAILER 如何针对电影《闪灵》的稀疏（镜头）图进行操作的真实示例。在这里，我们在进一步修剪的图上展示了算法的内部工作，以便更好地进行可视化（步骤 1；图 5），而实际上我们使用完整图作为 GRAPHTRAILER 的输入。

我们从已确定为 TP1（即“机会”；故事的介绍性事件）的镜头开始。我们取样一个镜头（即图中的亮绿色节点）并初始化我们的路径。对于接下来的步骤（2-7；实际上，我们最多执行 10 个步骤，但为了简洁起见，我们排除了一些步骤），我们只检查当前节点的直接邻域，并根据以下标准选择要包含在路径中的下一个镜头：（1）语义连贯性，（2）时间接近性，（3）叙事结构，和（4）情绪强度。我们将在第 3.1 节中详细介绍如何形式化和组合这些标准。

我们观察到，我们的算法在创建路径时设法紧跟重要事件（彩色节点），这意味着我们降低了选择与主要故事无关的随机镜头的概率。最后，在步骤 8（图 6）中，我们通过连接检索到的路径中的所有镜头来组装提案预告片。我们还在图中说明了该路径（即红线）。

我们的方法的一个优点是它具有可解释性，并且可以轻松地用作人工工具。具体来说，考虑到每一步的直接邻域，人们可以根据不同的自动标准甚至手动选择镜头。我们的方法大大减少了需要审查以创建预告片序列的镜头数量，仅占电影的 10%。此外，我们的标准允许用户探索电影的不同部分，并创建不同的预告片。