145 lectures

VEATIC : Suivi vidéo des émotions et des effets dans un ensemble de données contextuelles : détails de l'annotation

par Kinetograph: The Video Editing Technology Publication2m2024/05/27

Trop long; Pour lire

Dans cet article, les chercheurs présentent l’ensemble de données VEATIC pour la reconnaissance des effets humains, en abordant les limites des ensembles de données existants et en permettant une inférence basée sur le contexte.

featured image - VEATIC : Suivi vidéo des émotions et des effets dans un ensemble de données contextuelles : détails de l'annotation

Cet article est disponible sur arxiv sous licence CC 4.0.

Auteurs:

(1) Zhihang Ren, Université de Californie, Berkeley et ces auteurs ont contribué à parts égales à ce travail (E-mail : [email protected]) ;

(2) Jefferson Ortega, Université de Californie, Berkeley et ces auteurs ont contribué à parts égales à ce travail (E-mail : [email protected]) ;

(3) Yifan Wang, Université de Californie, Berkeley et ces auteurs ont contribué à parts égales à ce travail (E-mail : [email protected]) ;

(4) Zhimin Chen, Université de Californie, Berkeley (E-mail : [email protected]) ;

(5) Yunhui Guo, Université du Texas à Dallas (E-mail : [email protected]) ;

(6) Stella X. Yu, Université de Californie, Berkeley et Université du Michigan, Ann Arbor (E-mail : [email protected]) ;

(7) David Whitney, Université de Californie, Berkeley (E-mail : [email protected]).

Tableau des liens

8. Détails des annotations

Au total, nous avons eu 192 participants qui ont annoté les vidéos dans l'ensemble de données VEATIC. Quatre-vingt-quatre participants ont annoté les identifiants vidéo 0 à 82. Cent huit participants ont annoté les identifiants vidéo 83 à 123 avant la planification de l'ensemble de données VEATIC. En particulier, cinquante et un participants ont annoté les identifiants vidéo 83 à 94, vingt-cinq participants ont annoté les identifiants vidéo 95 à 97 et 32 participants ont annoté les identifiants vidéo 98 à 123.

Une autre nouveauté de l'ensemble de données VEATIC est qu'il contient des vidéos avec des personnages en interaction et des évaluations pour des personnages distincts dans la même vidéo. Ces vidéos sont celles portant les identifiants vidéo 98-123. Pour chaque paire vidéo consécutive, les images vidéo sont exactement les mêmes, mais les évaluations d'émotions continues sont annotées en fonction des différents personnages sélectionnés. La figure 11 montre un exemple. Dans cette étude, nous proposons d'abord ce processus d'annotation car il offre aux futurs algorithmes un moyen de tester si les modèles apprennent l'émotion des personnages sélectionnés compte tenu des interactions entre les personnages et exactement des mêmes informations contextuelles. Un bon algorithme de reconnaissance des émotions devrait faire face à cette situation compliquée.