この論文はCC 4.0ライセンスの下でarxivで公開されています。
著者:
(1)カリフォルニア大学バークレー校のZhihang Renとこれらの著者らは本研究に等しく貢献した(電子メール:[email protected])。
(2)ジェファーソン・オルテガ、カリフォルニア大学バークレー校およびこれらの著者らは、本研究に等しく貢献した(電子メール:[email protected])。
(3)Yifan Wang、カリフォルニア大学バークレー校およびこれらの著者らは、本研究に等しく貢献した(Eメール:[email protected])。
(4)カリフォルニア大学バークレー校のZhimin Chen氏(Eメール:[email protected])
(5)ユンフイ・グオ、テキサス大学ダラス校(Eメール:[email protected])
(6)ステラ・X・ユー、カリフォルニア大学バークレー校およびミシガン大学アナーバー校(Eメール:[email protected])
(7)デイビッド・ホイットニー、カリフォルニア大学バークレー校(Eメール:[email protected])。
私たちは、各注釈者のコンセンサスへの同意度を計算することで、データセットにノイズの多い注釈者がいるかどうかを評価しました。これは、各動画の各注釈者と、leave-one-out コンセンサス (現在の注釈者以外の回答の集計) との間のピアソン相関を計算することで行いました。データセット内で、動画全体の leave-one-out コンセンサス評価との相関が .2 未満の観察者は 1 人だけでした。.2 をしきい値として選択したのは、心理学研究で相関が弱いことを示す指標としてよく使用されるためです。重要なのは、各動画のコンセンサスと、弱い同意を示した 1 人の注釈者を除外したコンセンサスとの相関を比較すると、非常に高い相関 (r = 0.999) が得られ、その対象を除外してもデータセットのコンセンサス応答に大きな影響がないことを示しています。したがって、動画に対する重要な代替注釈が削除されないように、弱い同意を示した注釈者をデータセットに残すことにしました。
この論文はCC 4.0ライセンスの下でarxivで公開されています。