paint-brush
Polarite Minimizasyon Kaybı ile Çerçeveleme Önyargısının Azaltılması: Deneysel Ayrıntılarile@mediabias
656 okumalar
656 okumalar

Polarite Minimizasyon Kaybı ile Çerçeveleme Önyargısının Azaltılması: Deneysel Ayrıntılar

Çok uzun; Okumak

Bu makalede araştırmacılar, siyasi kutuplaşmanın temel etkenlerinden biri olan medyadaki çerçeveleme önyargısını ele alıyor. Raporlamadaki kutupsallık farklılıklarını en aza indirmek ve önyargıyı etkili bir şekilde azaltmak için yeni bir kayıp fonksiyonu öneriyorlar.
featured image - Polarite Minimizasyon Kaybı ile Çerçeveleme Önyargısının Azaltılması: Deneysel Ayrıntılar
Tech Media Bias [Research Publication] HackerNoon profile picture
0-item

Bu makale arxiv'de CC BY-NC-SA 4.0 DEED lisansı altında mevcuttur.

Yazarlar:

(1) Yejin Bang, Yapay Zeka Araştırma Merkezi (CAiRE), Hong Kong Bilim ve Teknoloji Üniversitesi;

(2) Nayeon Lee, Yapay Zeka Araştırma Merkezi (CAiRE), Hong Kong Bilim ve Teknoloji Üniversitesi;

(3) Pascale Fung, Yapay Zeka Araştırma Merkezi (CAiRE), Hong Kong Bilim ve Teknoloji Üniversitesi.

Bağlantı Tablosu

A. Deneysel Ayrıntılar


BERTSCORE-F1 Göze çarpan bilgileri değerlendirmek için belirteç yerleştirmeye dayalı BERTSCORE-F1 metriğini benimsedik. En son teknolojiye sahip kontrol noktası olarak (Zhang* ve diğerleri, 2020) tarafından sağlanan önceden eğitilmiş 'microsoft/deberta-xlarge-mnli' sürümünü kullandık.

A.1 İnsan Değerlendirmesi


Değerlendirmeyi rastgele seçilen 30 örnekle gerçekleştirdik. İki modelden iki makaleyi (rastgele sırayla) makalelerin neyle ilgili olduğunu açıklayan sorun cümlesiyle birlikte sunuyoruz. Daha sonra yorumcudan Spinde ve arkadaşlarının ardından "Hangi makale daha taraflı?" sorusunu yanıtlaması istenir. (2021); Lee ve ark. (2022). Her örnek için üç ek açıklama alıyoruz ve çoğunluk oyu seçiyoruz. Test örneklerinin çoğu ABD siyasetiyle yakından ilişkili olduğundan, değerlendirmede yer alan herhangi bir siyasi önyargıyı veya kişisel tercihi en aza indirmek için ABD vatandaşı olmayan /vatandaşları/ikamet eden üç kişiyi işe aldık. Her üç yorumcu da siyasi eğilim açısından ılımlı olduklarını ve değerlendirmeyi İngilizce olarak yapabilecek yeterlilikte olduklarını iddia etti (hepsi yüksek öğrenimlerini İngilizce olarak almıştır).


Çiftlerde hangisinin taraflı olduğu seçiminin rastgele olmadığını doğrulamak için değerlendirme sonuçları elde edildikten sonra binom testi yapılır. Boş hipotez şuydu: "LR-INFO'dan (önerdiğimiz yöntem) oluşturulan makalelerin daha az önyargılı olacak şekilde seçilmesi rastgeledir". Daha sonra sıfır hipotezini reddeden 0,019'luk bir p değeri elde ettik (p < 0,05). Bu nedenle, LR-INFO'dan oluşturulan makalelerin daha az önyargılı olacak şekilde seçilmesi rastgele değildir.


Model, polarite minimizasyon kaybıyla eğitildiğinde, BARTNEUSFT-T zarar görürken önyargıya neden olan bilgileri kaldırmayı öğrenebilir. Tablo 4'te gösterildiği gibi, LR-INFO modelimiz, "Trump'ın CPAC'ta konuşması" konusuyla ilgili özetten "Trump'ın Başkan Joe Biden'ın göç politikalarına saldırması bekleniyor" şeklindeki önyargıya neden olan bilgiyi kaldırabilirken, BARTNEUSFTT bunu kaldıramadı.


Tablo 4: İnsan Değerlendirme Örneği.



Tablo 5: Önerilen polarite minimizasyon kaybı, LR-VALENCE, LRAROUSAL, LR-INFO, LRC-Arousal, LRC-INFO ile değişen ağırlıklara (λ) sahip modellerimiz için deneysel sonuçlar. Çerçeveleme yanlılığı metriği için, sayı ne kadar düşükse o kadar iyidir (↓). Diğer puanlar için sayı ne kadar yüksekse o kadar iyidir (↑). Polarite minimizasyon kaybına sahip modellerimizin sonuçları (+ ile gösterilenler) en iyi λ ile rapor edilir. λ'nın tam keşfi Ek ve Şekil 2'de mevcuttur.