Une méthode de synthèse puis de recherche pour répondre à des questions vidéo longues : méthode

Tableau des liens

• Résumé et introduction
• Méthode
• Expériences
• Travaux connexes
• Conclusion
• Limites et références
• A. Détails de l'expérience
• B. Échantillons rapides

2. Méthode

2.1. Génération de tracé

2.2. Recherche narrative

Compte tenu du récit résumé et de la question, nous souhaitons récupérer le clip relativement court pertinent à la question de la longue vidéo. Les modèles linguistiques génèrent du texte ouvert, irrégulier et souvent bruyant. Pour récupérer la partie exacte de la vidéo, nous conduisons le modèle à générer des indices de l'intrigue plutôt que la forme texte.

Les indices générés peuvent encore être bruyants en raison de la nature ouverte des modèles de langage. Lorsque le modèle génère une réponse sous forme de texte, nous utilisons le score rouge-l [19] pour trouver les candidats aux éléments d'intrigue dont la similarité avec la phrase générée est supérieure au seuil spécifié α ≥ 0,5.

2.3. Vérification visuelle