Auteurs:  (1) Pinelopi Papalampidi, Institut du langage, de la cognition et du calcul, École d'informatique, Université d'Édimbourg ;  (2) Frank Keller, Institut du langage, de la cognition et du calcul, École d'informatique, Université d'Édimbourg ;  (3) Mirella Lapata, Institut du langage, de la cognition et du calcul, École d'informatique, Université d'Édimbourg.  Tableau des liens   Résumé et introduction   Travaux connexes   Formulation du problème   Montage expérimental   Résultats et analyse   Conclusions et références   A. Détails du modèle   B. Détails de mise en œuvre   C. Résultats : études sur l'ablation  2. Travaux connexes  Les approches précédentes de   se sont principalement concentrées sur des clips vidéo isolés et sur des tâches telles que l'alignement entre les scènes de films et les chapitres de livres [49], les réponses aux questions [50], le sous-titrage vidéo pour les plans de film [44] et la conversion texte-vidéo. récupération [5]. Des travaux récents [40–42] tentent d'identifier une structure narrative de haut niveau et de résumer des épisodes télévisés et des films entiers en se concentrant exclusivement sur la modalité textuelle (c'est-à-dire les scénarios). compréhension de films  Les approches existantes de   exploitent des fonctionnalités audiovisuelles superficielles, telles que la musique de fond ou les changements visuels entre les plans séquentiels [24, 46]. D’autres travaux créent des bandes-annonces « attrayantes » avec un modèle basé sur des graphiques pour la sélection des plans [57] ou utilisent un humain dans la boucle en conjonction avec un modèle formé aux films d’horreur via une analyse des sentiments audiovisuels [47]. L'ensemble de données de détection des moments de bande-annonce [53] se compose de longs métrages associés à des bandes-annonces officielles et des annotations pour les moments clés, mais il n'est pas accessible au public et n'inclut pas de scénarios. génération de bandes-annonces    [3, 23] a été initialement proposée pour distiller les informations d'un modèle d'enseignant plus large vers un modèle d'élève plus petit. La distillation généralisée [30] fournit un cadre pour utiliser des informations privilégiées, c'est-à-dire des informations disponibles uniquement au moment de l'entraînement. Le plus lié à notre travail est l'utilisation de différentes modalités ou vues du même contenu [33, 34], par exemple des narrations transcrites pour apprendre des représentations visuelles dans des vidéos pédagogiques. Nous exploitons les scénarios comme source d'informations privilégiées et distillons des connaissances sur les événements, les personnages et les scènes d'un film, que nous exploitons ensuite pour identifier les plans dignes d'une bande-annonce dans une vidéo. La distillation des connaissances  Cet article est   sous licence CC BY-SA 4.0 DEED. disponible sur arxiv

Part of HackerNoon's growing list of open-source research papers, promoting free access to academic material.

Kinetopgraph.TECH

Read My Stories

kinetograph

Cet audio est produit dans la langue originale de l'histoire !

Trop long; Pour lire

Boost your HackerNoon story @ $159.99! 🚀

Génération de bandes-annonces de films via la décomposition de tâches : travaux connexes

About Author

COMMENTAIRES

ÉTIQUETTES

CET ARTICLE A ÉTÉ PARU DANS

Related Stories

Télégramme : le pont de Crypto Island vers le continent

Croissance des crypto-monnaies : créer des profils d'utilisateurs efficaces

Les couches invisibles : pourquoi les entretiens avec les utilisateurs sont un atout irremplaçable

Le modèle Bitcoin UTXO, alimentant un écosystème unique

Télégramme : le pont de Crypto Island vers le continent

Croissance des crypto-monnaies : créer des profils d'utilisateurs efficaces

Les couches invisibles : pourquoi les entretiens avec les utilisateurs sont un atout irremplaçable

Le modèle Bitcoin UTXO, alimentant un écosystème unique

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps