Cet article est disponible sur arxiv sous licence CC 4.0.
Auteurs:
(1) Zhihang Ren, Université de Californie, Berkeley et ces auteurs ont contribué à parts égales à ce travail (E-mail : [email protected]) ;
(2) Jefferson Ortega, Université de Californie, Berkeley et ces auteurs ont contribué à parts égales à ce travail (E-mail : [email protected]) ;
(3) Yifan Wang, Université de Californie, Berkeley et ces auteurs ont contribué à parts égales à ce travail (E-mail : [email protected]) ;
(4) Zhimin Chen, Université de Californie, Berkeley (E-mail : [email protected]) ;
(5) Yunhui Guo, Université du Texas à Dallas (E-mail : [email protected]) ;
(6) Stella X. Yu, Université de Californie, Berkeley et Université du Michigan, Ann Arbor (E-mail : [email protected]) ;
(7) David Whitney, Université de Californie, Berkeley (E-mail : [email protected]).
Nous avons évalué s'il y avait des annotateurs bruyants dans notre ensemble de données en calculant l'accord de chaque annotateur individuel avec le consensus. Cela a été fait en calculant la corrélation de Pearson entre chaque annotateur et le consensus de sortie (ensemble des réponses à l'exception de l'annotateur actuel) pour chaque vidéo. Un seul observateur de notre ensemble de données présentait une corrélation inférieure à 0,2 avec la note consensuelle « Leave-One-Out » dans toutes les vidéos. Nous avons choisi 0,2 comme seuil car il est souvent utilisé comme indicateur d'une faible corrélation dans la recherche en psychologie. Il est important de noter que si nous comparons les corrélations entre le consensus de chaque vidéo et un consensus qui supprime l'annotateur qui montre un faible accord, nous obtenons une corrélation très élevée (r = 0,999) indiquant que l'exclusion de ce sujet n'influence pas de manière significative la réponse consensuelle. dans notre ensemble de données. Ainsi, nous avons décidé de conserver l’annotateur avec un accord faible dans l’ensemble de données afin d’éviter de supprimer toute annotation alternative importante aux vidéos.
Cet article est disponible sur arxiv sous licence CC 4.0.