Этот документ доступен на arxiv под лицензией CC 4.0.
Авторы:
(1) Чжихан Рен, Калифорнийский университет в Беркли, и эти авторы внесли равный вклад в эту работу (электронная почта: [email protected]);
(2) Джефферсон Ортега, Калифорнийский университет, Беркли, и эти авторы внесли равный вклад в эту работу (электронная почта: [email protected]);
(3) Ифань Ван, Калифорнийский университет в Беркли, и эти авторы внесли равный вклад в эту работу (электронная почта: [email protected]);
(4) Чжимин Чен, Калифорнийский университет, Беркли (электронная почта: [email protected]);
(5) Юнхуэй Го, Техасский университет в Далласе (электронная почта: [email protected]);
(6) Стелла X. Ю, Калифорнийский университет, Беркли и Мичиганский университет, Анн-Арбор (электронная почта: [email protected]);
(7) Дэвид Уитни, Калифорнийский университет, Беркли (электронная почта: [email protected]).
Мы оценили, были ли в нашем наборе данных шумные аннотаторы, вычислив согласие каждого отдельного аннотатора с консенсусом. Это было сделано путем расчета корреляции Пирсона между каждым аннотатором и консенсуса по исключению (совокупности ответов, за исключением текущего аннотатора) для каждого видео. Только один наблюдатель в нашем наборе данных имел корреляцию менее 0,2 с консенсусным рейтингом исключенных видео. Мы выбрали 0,2 в качестве порога, поскольку он часто используется как индикатор слабой корреляции в психологических исследованиях. Важно отметить, что если мы сравним корреляции между консенсусом каждого видео и консенсусом, исключающим одного аннотатора, демонстрирующего слабое согласие, мы получим очень высокую корреляцию (r = 0,999), указывающую на то, что исключение этого субъекта не оказывает существенного влияния на консенсусный ответ. в нашем наборе данных. Поэтому мы решили оставить в наборе данных аннотатора со слабым согласием, чтобы не удалять какие-либо важные альтернативные аннотации к видео.
Этот документ доступен на arxiv под лицензией CC 4.0.