이 문서는 CC 4.0 라이선스에 따라 arxiv에서 볼 수 있습니다.
저자:
(1) 캘리포니아 대학교 버클리 캠퍼스의 Zhihang Ren과 이들 저자는 이 연구에 동등하게 기여했습니다(이메일: [email protected]).
(2) 캘리포니아 대학교 버클리 캠퍼스의 Jefferson Ortega와 이들 저자는 이 연구에 동등하게 기여했습니다(이메일: [email protected]).
(3) University of California, Berkeley의 Yifan Wang과 이들 저자는 이 연구에 동등하게 기여했습니다(이메일: [email protected]).
(4) 캘리포니아 버클리 대학교 Zhimin Chen(이메일: [email protected]);
(5) 댈러스 텍사스 대학교 Yunhui Guo (이메일: [email protected]);
(6) Stella X. Yu, University of California, Berkeley 및 University of Michigan, Ann Arbor (이메일: [email protected]);
(7) David Whitney, University of California, Berkeley (이메일: [email protected]).
우리는 합의에 대한 각 개별 주석자의 동의를 계산하여 데이터세트에 시끄러운 주석자가 있는지 여부를 평가했습니다. 이는 각 비디오에 대한 각 주석자와 Leaveone-out 합의(현재 주석자를 제외한 응답의 집계) 간의 Pearson 상관 관계를 계산하여 수행되었습니다. 우리 데이터 세트에서 단 한 명의 관찰자만이 비디오 전반에 걸쳐 일회성 종료 합의 등급과 .2보다 작은 상관 관계를 보였습니다. .2는 심리학 연구에서 약한 상관관계를 나타내는 지표로 자주 사용되기 때문에 임계값으로 선택했습니다. 중요한 것은 각 동영상의 합의와 약한 동의를 보이는 한 명의 주석자를 제거하는 합의 사이의 상관 관계를 비교하면 해당 주제를 제외하는 것이 합의 응답에 큰 영향을 미치지 않음을 나타내는 매우 높은 상관 관계(r = 0.999)를 얻습니다. 우리 데이터 세트에서. 따라서 우리는 비디오에 대한 중요한 대체 주석이 제거되는 것을 방지하기 위해 데이터세트에서 약하게 일치하는 주석자를 유지하기로 결정했습니다.
이 문서는 CC 4.0 라이선스에 따라 arxiv에서 볼 수 있습니다.