ध्रुवीयता न्यूनीकरण हानि के साथ फ़्रेमिंग पूर्वाग्रह को कम करना: प्रायोगिक विवरण

लिंक की तालिका

• सार और परिचय
• संबंधित कार्य
• दृष्टिकोण
• प्रयोगों
• निष्कर्ष
• सीमाएँ, नैतिकता कथन और संदर्भ
• ए. प्रायोगिक विवरण
• बी. पीढ़ी परिणाम

ए. प्रायोगिक विवरण

BERTSCORE-F1 मुख्य जानकारी का आकलन करने के लिए, हमने टोकन-एम्बेडिंग-आधारित मीट्रिक BERTSCORE-F1 को अपनाया। हमने (झांग* एट अल., 2020) द्वारा प्रदान किए गए पूर्व-प्रशिक्षित 'माइक्रोसॉफ्ट/डेबर्टा-एक्सलार्ज-एमएनएलआई' संस्करण को अत्याधुनिक चेकपॉइंट के रूप में इस्तेमाल किया।

A.1 मानवीय मूल्यांकन

हमने 30 यादृच्छिक रूप से चुने गए नमूनों के साथ मूल्यांकन किया। हम दो मॉडलों (यादृच्छिक क्रम में) से दो लेख प्रदान करते हैं, साथ ही मुद्दा वाक्य भी देते हैं जो बताता है कि लेख किस बारे में हैं। फिर, एनोटेटर से इस सवाल का जवाब देने के लिए कहा जाता है कि "कौन सा लेख अधिक पक्षपाती है?", स्पिंडे एट अल. (2021); ली एट अल. (2022) के अनुसार। हमें प्रत्येक नमूने के लिए तीन एनोटेशन मिलते हैं और बहुमत वाले मतदान का चयन करते हैं। चूंकि कई परीक्षण नमूने अमेरिकी राजनीति से निकटता से संबंधित हैं, इसलिए हमने मूल्यांकन में शामिल किसी भी राजनीतिक पूर्वाग्रह या व्यक्तिगत प्राथमिकता को कम करने के लिए तीन गैर -अमेरिकी नागरिकों/नागरिकों/निवासियों को भर्ती किया। तीनों एनोटेटर्स ने खुद को राजनीतिक झुकाव में उदारवादी बताया और वे अंग्रेजी में मूल्यांकन करने के लिए योग्य हैं (उन सभी ने अंग्रेजी में अपनी तृतीयक शिक्षा प्राप्त की है)।

यह सत्यापित करने के लिए कि जोड़ों में से कौन सा पक्षपाती है, उसका चयन यादृच्छिक नहीं है, मूल्यांकन परिणाम प्राप्त करने के बाद द्विपद परीक्षण किया जाता है। शून्य परिकल्पना थी "LR-INFO (हमारी प्रस्तावित विधि) से उत्पन्न लेखों का कम पक्षपाती होना यादृच्छिक है"। फिर, हमने 0.019 का p-मान प्राप्त किया, जिसने शून्य परिकल्पना (p < 0.05) को खारिज कर दिया। इसलिए, LR-INFO से उत्पन्न लेखों का कम पक्षपाती होना यादृच्छिक नहीं है।

जब मॉडल को पोलरिटी मिनिमाइजेशन लॉस के साथ प्रशिक्षित किया जाता है, तो यह पूर्वाग्रह पैदा करने वाली जानकारी को हटाना सीख सकता है जबकि BARTNEUSFT-T को नुकसान होता है। जैसा कि तालिका 4 में दर्शाया गया है, हमारा मॉडल LR-INFO "ट्रम्प द्वारा CPAC में बोलने के मुद्दे" के बारे में सारांश से पूर्वाग्रह पैदा करने वाली जानकारी "ट्रम्प से राष्ट्रपति जो बिडेन की आव्रजन नीतियों पर हमला करने की उम्मीद है" को हटा सकता है जबकि BARTNEUSFTT इसे हटाने में विफल रहा।