Polarite Minimizasyon Kaybı ile Çerçeveleme Önyargısının Azaltılması: Deneysel Ayrıntılar

Bağlantı Tablosu

• Özet ve Giriş
• Alakalı iş
• Yaklaşmak
• Deneyler
• Çözüm
• Sınırlamalar, Etik Beyanı ve Referanslar
• A. Deneysel Ayrıntılar
• B. Nesil Sonuçlar

A. Deneysel Ayrıntılar

BERTSCORE-F1 Göze çarpan bilgileri değerlendirmek için belirteç yerleştirmeye dayalı BERTSCORE-F1 metriğini benimsedik. En son teknolojiye sahip kontrol noktası olarak (Zhang* ve diğerleri, 2020) tarafından sağlanan önceden eğitilmiş 'microsoft/deberta-xlarge-mnli' sürümünü kullandık.

A.1 İnsan Değerlendirmesi

Değerlendirmeyi rastgele seçilen 30 örnekle gerçekleştirdik. İki modelden iki makaleyi (rastgele sırayla) makalelerin neyle ilgili olduğunu açıklayan sorun cümlesiyle birlikte sunuyoruz. Daha sonra yorumcudan Spinde ve arkadaşlarının ardından "Hangi makale daha taraflı?" sorusunu yanıtlaması istenir. (2021); Lee ve ark. (2022). Her örnek için üç ek açıklama alıyoruz ve çoğunluk oyu seçiyoruz. Test örneklerinin çoğu ABD siyasetiyle yakından ilişkili olduğundan, değerlendirmede yer alan herhangi bir siyasi önyargıyı veya kişisel tercihi en aza indirmek için ABD vatandaşı olmayan /vatandaşları/ikamet eden üç kişiyi işe aldık. Her üç yorumcu da siyasi eğilim açısından ılımlı olduklarını ve değerlendirmeyi İngilizce olarak yapabilecek yeterlilikte olduklarını iddia etti (hepsi yüksek öğrenimlerini İngilizce olarak almıştır).

Çiftlerde hangisinin taraflı olduğu seçiminin rastgele olmadığını doğrulamak için değerlendirme sonuçları elde edildikten sonra binom testi yapılır. Boş hipotez şuydu: "LR-INFO'dan (önerdiğimiz yöntem) oluşturulan makalelerin daha az önyargılı olacak şekilde seçilmesi rastgeledir". Daha sonra sıfır hipotezini reddeden 0,019'luk bir p değeri elde ettik (p < 0,05). Bu nedenle, LR-INFO'dan oluşturulan makalelerin daha az önyargılı olacak şekilde seçilmesi rastgele değildir.

Model, polarite minimizasyon kaybıyla eğitildiğinde, BARTNEUSFT-T zarar görürken önyargıya neden olan bilgileri kaldırmayı öğrenebilir. Tablo 4'te gösterildiği gibi, LR-INFO modelimiz, "Trump'ın CPAC'ta konuşması" konusuyla ilgili özetten "Trump'ın Başkan Joe Biden'ın göç politikalarına saldırması bekleniyor" şeklindeki önyargıya neden olan bilgiyi kaldırabilirken, BARTNEUSFTT bunu kaldıramadı.