পোলারিটি মিনিমাইজেশন লস সহ ফ্রেমিং পক্ষপাত কমানো: পরীক্ষামূলক বিবরণ

লিঙ্কের টেবিল

• বিমূর্ত এবং ভূমিকা
• সম্পর্কিত কাজ
• এপ্রোচ
• পরীক্ষা-নিরীক্ষা
• উপসংহার
• সীমাবদ্ধতা, নীতিশাস্ত্রের বিবৃতি এবং রেফারেন্স
• A. পরীক্ষামূলক বিবরণ
• B. প্রজন্মের ফলাফল

A. পরীক্ষামূলক বিবরণ

BERTSCORE-F1 গুরুত্বপূর্ণ তথ্য মূল্যায়নের জন্য, আমরা টোকেন-এম্বেডিং-ভিত্তিক মেট্রিক BERTSCORE-F1 গ্রহণ করেছি। আমরা অত্যাধুনিক চেকপয়েন্ট হিসেবে (Zhang* et al., 2020) দ্বারা প্রদত্ত প্রাক-প্রশিক্ষিত 'microsoft/deberta-xlarge-mnli' সংস্করণ ব্যবহার করেছি।

A.1 মানব মূল্যায়ন

আমরা 30টি এলোমেলোভাবে নির্বাচিত নমুনার সাথে মূল্যায়ন পরিচালনা করেছি। আমরা দুটি মডেল থেকে দুটি নিবন্ধ (এলোমেলো ক্রমে) প্রদান করি এবং সেই সাথে ইস্যু বাক্য যা নিবন্ধগুলি সম্পর্কে বর্ণনা করে। তারপর, টীকাকারকে "কোন নিবন্ধটি বেশি পক্ষপাতদুষ্ট?" প্রশ্নের উত্তর দিতে বলা হয়, Spinde et al অনুসরণ করে। (2021); লি এট আল। (2022)। আমরা প্রতিটি নমুনার জন্য তিনটি টীকা পাই এবং সংখ্যাগরিষ্ঠ ভোটিং নির্বাচন করি। যেহেতু অনেক পরীক্ষার নমুনা মার্কিন রাজনীতির সাথে ঘনিষ্ঠভাবে জড়িত, তাই মূল্যায়নের সাথে জড়িত কোনো রাজনৈতিক পক্ষপাত বা ব্যক্তিগত পছন্দ কমাতে আমরা তিনজন নন -মার্কিন নাগরিক/জাতীয়/নিবাসী নিয়োগ করেছি। তিনজন টীকাকারই নিজেদেরকে রাজনৈতিক ঝোঁকে মধ্যপন্থী বলে দাবি করেছেন এবং তারা ইংরেজিতে মূল্যায়ন করার যোগ্য (তারা সবাই ইংরেজিতে তাদের তৃতীয় শিক্ষা পেয়েছে)।

জোড়ায় কোনটি পক্ষপাতদুষ্ট নির্বাচনটি এলোমেলো নয় তা যাচাই করার জন্য, মূল্যায়নের ফলাফল পাওয়ার পর একটি দ্বিপদ পরীক্ষা করা হয়। নাল হাইপোথিসিসটি ছিল "এলআর-ইনফো (আমাদের প্রস্তাবিত পদ্ধতি) থেকে কম পক্ষপাতিত্বের জন্য তৈরি নিবন্ধগুলির নির্বাচন র্যান্ডম"। তারপরে, আমরা 0.019 এর একটি পি-মান পেয়েছি, যা নাল হাইপোথিসিস (p <0.05) প্রত্যাখ্যান করেছে। তাই, কম পক্ষপাতমূলক হতে LR-INFO থেকে উত্পন্ন নিবন্ধগুলির নির্বাচন এলোমেলো নয়।

যখন মডেলটিকে পোলারিটি মিনিমাইজেশন লসের সাথে প্রশিক্ষিত করা হয়, তখন এটি BARTNEUSFT-T ক্ষতিগ্রস্ত হওয়ার সময় পক্ষপাত-প্ররোচিত তথ্য অপসারণ করতে শিখতে পারে। সারণি 4-এ যেমন দেখানো হয়েছে, আমাদের মডেল LR-INFO পক্ষপাত-প্ররোচিত তথ্য "ট্রাম্প প্রেসিডেন্ট জো বিডেনের অভিবাসন নীতিতে আক্রমণ করবেন বলে আশা করা হচ্ছে" সারাংশ থেকে "CPAC-তে ট্রাম্প কথা বলবেন" এর সারাংশ থেকে সরাতে পারে যখন BARTNEUSFTT এটি অপসারণ করতে ব্যর্থ হয়।