著者:  （１）ピネロピ・パパランピディ、エディンバラ大学情報学部言語・認知・計算研究所 （２）フランク・ケラー、エディンバラ大学情報学部言語・認知・計算研究所 （３）ミレラ・ラパタ、エディンバラ大学情報学部言語・認知・計算研究所 リンク一覧 概要と序文 関連作業 問題の定式化 実験のセットアップ 結果と分析 結論と参考文献 A. モデルの詳細 B. 実装の詳細 C. 結果: アブレーション研究 2. 関連研究 これまでの へのアプローチは、主に孤立したビデオクリップに焦点を当てており、映画のシーンと本の章の整合[49]、質問応答[50]、映画のショットのビデオキャプション[44]、テキストからビデオへの検索[5]などのタスクが行われてきました。最近の研究[40–42]では、テキストの様相（つまり脚本）のみに焦点を当てて、高レベルの物語構造を識別し、テレビのエピソードや映画全体を要約しようとしています。 映画理解 既存の のアプローチでは、背景音楽や連続ショット間の視覚的変化など、表面的な視聴覚的特徴を利用している[24, 46]。他の研究では、グラフベースのモデルを使用してショットを選択し、「魅力的な」予告編を作成したり[57]、視聴覚感情分析を介してホラー映画でトレーニングされたモデルと組み合わせて人間を使用したりする[47]。予告編瞬間検出データセット[53]は、公式予告編と重要な瞬間の注釈を組み合わせたフルレングスの映画で構成されていますが、公開されておらず、脚本は含まれていません。 予告編生成 [3, 23] はもともと、より大きな教師モデルからより小さな生徒モデルに情報を蒸留するために提案されました。一般化蒸留 [30] は、特権情報、つまりトレーニング時にのみ利用可能な情報を使用するためのフレームワークを提供します。私たちの研究に最も関連しているのは、同じコンテンツの異なるモダリティまたはビューの使用です [33, 34]、たとえば、教育ビデオの視覚表現を学習するための転写されたナレーションです。私たちは、特権情報のソースとして脚本を活用し、映画のイベント、キャラクター、シーンに関する知識を蒸留し、その後、ビデオ内の予告編に値するショットを識別するためにそれを利用します。 知識蒸留 この論文は、CC BY-SA 4.0 DEED ライセンスの下で 。 arxiv で公開されています

Part of HackerNoon's growing list of open-source research papers, promoting free access to academic material.

Kinetopgraph.TECH

Read My Stories

kinetograph

このオーディオは、ストーリーの元の言語で制作されています。

長すぎる; 読むには

Boost your HackerNoon story @ $159.99! 🚀

タスク分解による映画予告編生成: 関連研究

About Author

コメント

ラベル

この記事は

Related Stories

ユニークなエコシステムを支えるビットコインUTXOのモデル

海を航海する: データレイクを使用した本番環境レベルの RAG アプリケーションの開発

暗号通貨の成長: 効果的なユーザーペルソナの作成

クラウド移行を成功させるための完全ガイド: 戦略とベストプラクティス

ユニークなエコシステムを支えるビットコインUTXOのモデル

海を航海する: データレイクを使用した本番環境レベルの RAG アプリケーションの開発

暗号通貨の成長: 効果的なユーザーペルソナの作成

クラウド移行を成功させるための完全ガイド: 戦略とベストプラクティス

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps