Este artigo está disponível no arxiv sob licença CC 4.0.
Autores:
(1) Zhihang Ren, Universidade da Califórnia, Berkeley e estes autores contribuíram igualmente para este trabalho (E-mail: [email protected]);
(2) Jefferson Ortega, Universidade da Califórnia, Berkeley e estes autores contribuíram igualmente para este trabalho (E-mail: [email protected]);
(3) Yifan Wang, Universidade da Califórnia, Berkeley e estes autores contribuíram igualmente para este trabalho (E-mail: [email protected]);
(4) Zhimin Chen, Universidade da Califórnia, Berkeley (E-mail: [email protected]);
(5) Yunhui Guo, Universidade do Texas em Dallas (E-mail: [email protected]);
(6) Stella X. Yu, Universidade da Califórnia, Berkeley e Universidade de Michigan, Ann Arbor (E-mail: [email protected]);
(7) David Whitney, Universidade da Califórnia, Berkeley (E-mail: [email protected]).
Avaliamos se havia algum anotador ruidoso em nosso conjunto de dados calculando a concordância de cada anotador individual com o consenso. Isto foi feito calculando a correlação de Pearson entre cada anotador e o consenso de exclusão (agregado de respostas, exceto para o anotador atual) para cada vídeo. Apenas um observador em nosso conjunto de dados teve uma correlação menor que 0,2 com a classificação de consenso de exclusão entre os vídeos. Escolhemos 0,2 como limite porque é frequentemente usado como um indicador de uma correlação fraca em pesquisas psicológicas. É importante ressaltar que se compararmos as correlações entre o consenso de cada vídeo e um consenso que remove o anotador que apresenta concordância fraca, obtemos uma correlação muito alta (r = 0,999) indicando que deixar de fora aquele assunto não influencia significativamente a resposta do consenso em nosso conjunto de dados. Assim, decidimos manter o anotador com concordância fraca no conjunto de dados para evitar a remoção de quaisquer anotações alternativas importantes aos vídeos.
Este artigo está disponível no arxiv sob licença CC 4.0.