タスク分解による映画予告編生成: モデルの詳細

リンク一覧

• 概要と序文
• 関連作業
• 問題の定式化
• 実験のセットアップ
• 結果と分析
• 結論と参考文献
• A. モデルの詳細
• B. 実装の詳細
• C. 結果: アブレーション研究

A. モデルの詳細

このセクションでは、私たちのアプローチのさまざまなモデリング コンポーネントについて詳しく説明します。まず、GRAPHTRAILER アーキテクチャの詳細 (セクション A.1) を説明し、次に TP 識別ネットワークのトレーニング方法 (セクション A.2) について説明し、最後に脚本の事前トレーニング (A.3) とグラフ トラバーサルに使用される感情フロー (A.4) に関する技術的な詳細を説明します。

A.1. グラフトレーラー

我々は、StraightThrough Estimator [7]を利用して、モデルの不連続性（すなわち、トップkサンプリング、近傍サイズ選択）に対処します。逆方向パスでは、Gumbel-softmax再パラメータ化トリック[25, 32]を使用して勾配を計算します。補助的な脚本ベースのネットワークでシーンレベルのグラフを構築およびスパース化する場合も同じ手順に従います。

A.2. TP識別に関するトレーニング

セクション 3 では、シーンの TP ラベル (つまり、シーンが映画の TP として機能するかどうかを示すバイナリ ラベル) が利用可能であると仮定して、ビデオおよび脚本ベースのモデルのトレーニング方法を示します。このようなラベルが与えられた場合、モデルは、少数のホット ゴールド ラベルとネットワークの TP 予測の間のバイナリ クロスエントロピー損失 (BCE) 目標を使用してトレーニングされます。

しかし、実際には、私たちのトレーニングセットにはシーンのシルバースタンダードラベルが含まれています。後者はTRIPOD [41]データセットと一緒にリリースされ、自動的に作成されました。具体的には、TRIPODは、概要文がTPを代表するという仮定の下、概要（脚本ではない）のゴールドスタンダードTP注釈を提供します。そして、文レベルの注釈は、教師強制[41]でトレーニングされたマッチングモデルを使用してシーンに投影され、シルバースタンダードラベルを作成します。

A.3. 自己教師あり事前トレーニング

A.4. GRAPHTRAILER における感情フロー

グラフトラバーサルアルゴリズム（セクション3.1）で次のショットを選択するための基準の1つは、これまでに生成された予告編の感情の流れです。具体的には、予告編は感情の強さに基づいて3つのセクションに分割されるという仮説[9]を採用しています。最初のセクションは視聴者を引き付けるために中程度の強度を持ち、2番目のセクションは映画に関する重要な情報を伝えるために低い強度を持ち、最後に3番目のセクションはクリフハンガーと映画への興奮を生み出すために徐々に高い強度を表示します。

したがって、トレーラー ショットの予算が L 個ある場合、最初の L/3 ショットはセクション内で大きな変動がなく、中程度の強度を持つことが期待されます (たとえば、平均絶対強度が 0.7 に近いショットが必要で、すべてのスコアは -1 から 1 の範囲に正規化されます)。トレーラーの 2 番目の部分 (つまり、次の L/3 ショット) では、強度が急激に低下し、このセクション内のショットは多かれ少なかれ中立的な感情 (つまり、強度 0) を維持することが期待されます。最後に、3 番目のセクション (つまり、最後の L/3 ショット) では、強度が着実に増加することが期待されます。実際には、最初のショットの強度は 0.7 (つまり、中程度の強度) であり、最後のショットでピークに達するまで、後続のショットごとに 0.1 ずつ増加すると予想されます。

[9] https://www.derek-lieu.com/blog/2017/9/10/マトリックスは予告編だ編集者の夢