यह पेपर CC 4.0 लाइसेंस के अंतर्गत arxiv पर उपलब्ध है।
लेखक:
(1) झिहांग रेन, कैलिफोर्निया विश्वविद्यालय, बर्कले और इन लेखकों ने इस कार्य में समान रूप से योगदान दिया (ईमेल: [email protected]);
(2) जेफरसन ऑर्टेगा, कैलिफोर्निया विश्वविद्यालय, बर्कले और इन लेखकों ने इस कार्य में समान रूप से योगदान दिया (ईमेल: [email protected]);
(3) यिफान वांग, कैलिफोर्निया विश्वविद्यालय, बर्कले और इन लेखकों ने इस कार्य में समान रूप से योगदान दिया (ईमेल: [email protected]);
(4) झिमिन चेन, कैलिफोर्निया विश्वविद्यालय, बर्कले (ईमेल: [email protected]);
(5) युनहुई गुओ, यूनिवर्सिटी ऑफ टेक्सास एट डलास (ईमेल: [email protected]);
(6) स्टेला एक्स. यू, कैलिफोर्निया विश्वविद्यालय, बर्कले और मिशिगन विश्वविद्यालय, एन आर्बर (ईमेल: [email protected]);
(7) डेविड व्हिटनी, कैलिफोर्निया विश्वविद्यालय, बर्कले (ईमेल: [email protected]).
हमने प्रत्येक व्यक्तिगत एनोटेटर की सहमति की गणना करके यह मूल्यांकन किया कि हमारे डेटासेट में कोई शोरगुल करने वाले एनोटेटर हैं या नहीं। यह प्रत्येक वीडियो के लिए प्रत्येक एनोटेटर और लीव-वन-आउट सर्वसम्मति (वर्तमान एनोटेटर को छोड़कर प्रतिक्रियाओं का समुच्चय) के बीच पियर्सन सहसंबंध की गणना करके किया गया था। हमारे डेटासेट में केवल एक पर्यवेक्षक का वीडियो में लीव-वन-आउट सर्वसम्मति रेटिंग के साथ .2 से कम सहसंबंध था। हमने .2 को सीमा के रूप में चुना क्योंकि इसे अक्सर मनोवैज्ञानिक शोध में कमज़ोर सहसंबंध के संकेतक के रूप में उपयोग किया जाता है। महत्वपूर्ण रूप से, यदि हम प्रत्येक वीडियो की सहमति और कमज़ोर सहमति दिखाने वाले एक एनोटेटर को हटाने वाली सहमति के बीच सहसंबंधों की तुलना करते हैं, तो हमें बहुत उच्च सहसंबंध (r = 0.999) मिलता है जो दर्शाता है कि उस विषय को छोड़ने से हमारे डेटासेट में आम सहमति प्रतिक्रिया पर महत्वपूर्ण रूप से प्रभाव नहीं पड़ता है। इस प्रकार, हमने वीडियो के किसी भी महत्वपूर्ण वैकल्पिक एनोटेशन को हटाने से बचने के लिए डेटासेट में कमज़ोर सहमति वाले एनोटेटर को रखने का निर्णय लिया।
यह पेपर CC 4.0 लाइसेंस के अंतर्गत arxiv पर उपलब्ध है।