Dieses Dokument ist auf Arxiv unter der CC 4.0-Lizenz verfügbar.
Autoren:
(1) Zhihang Ren, University of California, Berkeley und diese Autoren haben zu gleichen Teilen zu dieser Arbeit beigetragen (E-Mail: [email protected]);
(2) Jefferson Ortega, University of California, Berkeley und diese Autoren haben zu gleichen Teilen zu dieser Arbeit beigetragen (E-Mail: [email protected]);
(3) Yifan Wang, University of California, Berkeley und diese Autoren haben zu gleichen Teilen zu dieser Arbeit beigetragen (E-Mail: [email protected]);
(4) Zhimin Chen, University of California, Berkeley (E-Mail: [email protected]);
(5) Yunhui Guo, University of Texas at Dallas (E-Mail: [email protected]);
(6) Stella X. Yu, University of California, Berkeley und University of Michigan, Ann Arbor (E-Mail: [email protected]);
(7) David Whitney, University of California, Berkeley (E-Mail: [email protected]).
Wir haben beurteilt, ob es in unserem Datensatz verrauschte Annotatoren gab, indem wir die Übereinstimmung jedes einzelnen Annotators mit dem Konsens berechneten. Dies geschah durch Berechnung der Pearson-Korrelation zwischen jedem Annotator und dem Leave-One-Out-Konsens (Gesamtheit der Antworten außer dem aktuellen Annotator) für jedes Video. Nur ein Beobachter in unserem Datensatz hatte eine Korrelation von weniger als 0,2 mit der Leave-One-Out-Konsensbewertung über alle Videos hinweg. Wir wählten 0,2 als Schwellenwert, da dieser Wert in der psychologischen Forschung häufig als Indikator für eine schwache Korrelation verwendet wird. Wichtig ist, dass wir, wenn wir die Korrelationen zwischen dem Konsens jedes Videos und einem Konsens vergleichen, der den einen Annotator mit schwacher Übereinstimmung entfernt, eine sehr hohe Korrelation (r = 0,999) erhalten, was darauf hinweist, dass das Weglassen dieses Subjekts die Konsensantwort in unserem Datensatz nicht signifikant beeinflusst. Daher entschieden wir uns, den Annotator mit schwacher Übereinstimmung im Datensatz zu belassen, um zu vermeiden, dass wichtige alternative Annotationen zu den Videos entfernt werden.
Dieses Dokument ist auf Arxiv unter der CC 4.0-Lizenz verfügbar .