Este documento está disponible en arxiv bajo licencia CC 4.0.
Autores:
(1) Zhihang Ren, Universidad de California, Berkeley y estos autores contribuyeron igualmente a este trabajo (correo electrónico: [email protected]);
(2) Jefferson Ortega, Universidad de California, Berkeley y estos autores contribuyeron igualmente a este trabajo (correo electrónico: [email protected]);
(3) Yifan Wang, Universidad de California, Berkeley y estos autores contribuyeron igualmente a este trabajo (correo electrónico: [email protected]);
(4) Zhimin Chen, Universidad de California, Berkeley (correo electrónico: [email protected]);
(5) Yunhui Guo, Universidad de Texas en Dallas (correo electrónico: [email protected]);
(6) Stella X. Yu, Universidad de California, Berkeley y Universidad de Michigan, Ann Arbor (correo electrónico: [email protected]);
(7) David Whitney, Universidad de California, Berkeley (correo electrónico: [email protected]).
Evaluamos si había anotadores ruidosos en nuestro conjunto de datos calculando el acuerdo de cada anotador individual con el consenso. Esto se hizo calculando la correlación de Pearson entre cada anotador y el consenso de exclusión (agregado de respuestas excepto el anotador actual) para cada video. Solo un observador en nuestro conjunto de datos tuvo una correlación menor que 0,2 con la calificación de consenso de dejar uno fuera en todos los videos. Elegimos 0,2 como umbral porque a menudo se utiliza como indicador de una correlación débil en la investigación psicológica. Es importante destacar que si comparamos las correlaciones entre el consenso de cada vídeo y un consenso que elimina al anotador que muestra un acuerdo débil, obtenemos una correlación muy alta (r = 0,999), lo que indica que dejar de lado ese tema no influye significativamente en la respuesta de consenso. en nuestro conjunto de datos. Por lo tanto, decidimos mantener el anotador con acuerdo débil en el conjunto de datos para evitar eliminar anotaciones alternativas importantes a los videos.
Este documento está disponible en arxiv bajo licencia CC 4.0.