タスク分解による映画予告編生成: 結果: アブレーション研究

に Kinetograph: The Video Editing Technology Publication5m2024/06/07

長すぎる; 読むには

この論文では、研究者らが映画をグラフとしてモデル化して予告編を生成し、物語の構造を識別して感情を予測し、教師あり手法を上回っています。

featured image - タスク分解による映画予告編生成: 結果: アブレーション研究

著者:

（１）ピネロピ・パパランピディ、エディンバラ大学情報学部言語・認知・計算研究所

（２）フランク・ケラー、エディンバラ大学情報学部言語・認知・計算研究所

（３）ミレラ・ラパタ、エディンバラ大学情報学部言語・認知・計算研究所

リンク一覧

C. 結果: アブレーション研究

D. タスク分解分析

物語構造と予告編のつながり脚本理論[22]によれば、5つのTPは映画を6つのテーマ別ユニット、すなわち「設定」、「新しい状況」、「進行」、「複雑で大きな賭け」、「最後の一押し」、「余波」に分割する。映画のどの部分が予告編で最も多く登場するかを調べるために、ゴールド予告編（TRIPODの拡張開発セットを使用）のテーマ別ユニットあたりのショットの分布を計算した。図4に示すように、予告編には平均して映画のすべてのセクションからのショットが含まれており、結末がわかる最後の2つのショットも含まれている。さらに、ほとんどの予告編ショット（30.33%）は映画の途中（進行）と冒頭（「設定」と「新しい状況」でそれぞれ16.62%と25.45%）から選択されている。これらの経験的観察は、予告編作成に関する業界の原則を裏付けている。[10]

次に、TP で示されるさまざまな種類の重要なイベントがトレーラーにどのくらいの頻度で含まれているかを調べます。表 7 に、TP ごとに少なくとも 1 つのショットを含むトレーラー (開発セット) の割合を示します。ご覧のとおり、トレーラーの半分以上 (つまり、52.63% と 55.26%) に最初の 2 つの TP に関連するショットが含まれていますが、最後の 2 つの TP に関する情報が含まれているトレーラーは 34.21% のみです。これは予想どおりで、最初の TP はストーリーの導入部であり、トレーラーの作成にとってより重要ですが、最後の 2 つはネタバレを含む可能性があるため、避けられることが多いためです。

感情が予告編とどのように結びつくか予告編制作の経験則[11]によれば、予告編は視聴者を魅了するために中程度の強度のショットで始まり、その後、映画の重要な情報を伝えるために感情の強度を下げ、最後にクライマックスに達するまで緊張感を高めることが推奨されています。

ここでは、予測された感情スコアに基づいて、開発セットの実際の予告編の感情フローを分析します (セクション 3.5 および 4 を参照)。具体的には、(実際の) 予告編のショットごとに絶対的な感情強度 (つまり、正/負の極性に関係なく) を計算します。実験設定に従って、視覚的な類似性に基づいて予告編のショットを映画のショットにマッピングし、ネットワークによって予測された対応する感情スコアを考慮します。次に、予告編を 3 つの等しいセクションに分割し、セクションごとの平均絶対感情強度を計算します。表 8 に結果を示します。予想どおり、平均して 2 番目の部分の強度が最も低く、3 番目の部分の感情強度が最も高くなります。最後に、各予告編を 3 つの等しいセクションに分割し、1 つのセクションから次のセクションへの感情フローを測定すると、46.67% の予告編が「V」字型になっていることがわかります。これは、GRAPHTRAILER を使用して提案予告編を生成するための感情条件に似ています。

GRAPHTRAILER でのウォークの例図 5 と 6 に、映画「シャイニング」のスパース (ショット) グラフで GRAPHTRAILER がどのように動作するかの実際の例を示します。ここでは、視覚化を向上させるためにさらに削減されたグラフでアルゴリズムの内部動作を示します (ステップ 1、図 5)。ただし、実際には、完全なグラフを GRAPHTRAILER への入力として使用します。

まず、TP1（つまり、「機会」、ストーリーの導入イベント）として識別されたショットから始めます。ショット（つまり、グラフの明るい緑色のノード）をサンプリングし、パスを初期化します。次のステップ（2〜7。実際には最大10ステップを実行しますが、簡潔にするためにいくつかを除外しました）では、現在のノードのすぐ近くのみを調べ、次の基準に基づいてパスに含める次のショットを選択します：（1）意味の一貫性、（2）時間的近接性、（3）物語構造、および（4）感情の強さ。これらの基準をどのように形式化して組み合わせるかについては、セクション3.1で詳しく説明します。

アルゴリズムはパスを作成する際に重要なイベント (色付きのノード) の近くに留まるようにできていることがわかります。つまり、メインストーリーに関係のないショットをランダムに選択する可能性が低くなります。最後に、ステップ 8 (図 6) で、取得したパス内のすべてのショットを連結して、提案トレーラーを組み立てます。また、グラフにパスを示します (赤い線)。

私たちのアプローチの利点は、解釈可能であり、人間が関与するツールとして簡単に使用できることです。具体的には、各ステップですぐ近くの場所が与えられれば、さまざまな自動基準に基づいて、または手動でショットを選択できます。私たちのアプローチにより、予告編シーケンスを作成するために確認する必要があるショットの数が映画の 10% にまで大幅に削減されます。さらに、私たちの基準により、ユーザーは映画のさまざまなセクションを探索し、多様な予告編を作成できます。