長いビデオの質問応答のための要約してから検索する方法：方法

リンク一覧

• 概要と序文
• 方法
• 実験
• 関連作業
• 結論
• 制限事項と参考文献
• A. 実験の詳細
• B. プロンプトサンプル

2. 方法

2.1. プロット生成

2.2. 物語検索

要約された物語と質問が与えられたら、長いビデオから質問に関連する比較的短いクリップを取得したいと考えています。言語モデルは、不規則でノイズが多いことが多いオープンエンドのテキストを生成します。ビデオの正確な部分を取得するために、テキスト形式ではなくプロットのインデックスを出力するようにモデルを駆動します。

言語モデルのオープンエンドな性質のため、生成されたインデックスには依然としてノイズが含まれる可能性があります。モデルがテキスト形式で回答を出力する場合、生成された文との類似性が指定されたしきい値α ≥ 0.5を超えるプロットピース候補を見つけるために、rouge-l [19]スコアを使用します。

2.3. 目視による確認