paint-brush
Atténuer le biais de cadrage grâce à la perte de minimisation de polarité : détails expérimentauxpar@mediabias
656 lectures
656 lectures

Atténuer le biais de cadrage grâce à la perte de minimisation de polarité : détails expérimentaux

Trop long; Pour lire

Dans cet article, les chercheurs abordent les préjugés de cadrage dans les médias, un facteur clé de la polarisation politique. Ils proposent une nouvelle fonction de perte pour minimiser les différences de polarité dans les rapports, réduisant ainsi efficacement les biais.
featured image - Atténuer le biais de cadrage grâce à la perte de minimisation de polarité : détails expérimentaux
Tech Media Bias [Research Publication] HackerNoon profile picture
0-item

Cet article est disponible sur arxiv sous licence CC BY-NC-SA 4.0 DEED.

Auteurs:

(1) Yejin Bang, Centre de recherche sur l'intelligence artificielle (CAiRE), Université des sciences et technologies de Hong Kong ;

(2) Nayeon Lee, Centre de recherche sur l'intelligence artificielle (CAiRE), Université des sciences et technologies de Hong Kong ;

(3) Pascale Fung, Centre de recherche sur l'intelligence artificielle (CAiRE), Université des sciences et technologies de Hong Kong.

Tableau des liens

A. Détails expérimentaux


BERTSCORE-F1 Pour évaluer les informations importantes, nous avons adopté la métrique BERTSCORE-F1 basée sur l'intégration de jetons. Nous avons utilisé la version pré-entraînée « microsoft/deberta-xlarge-mnli » fournie par (Zhang* et al., 2020) comme point de contrôle de pointe.

A.1 Évaluation humaine


Nous avons effectué l'évaluation avec 30 échantillons sélectionnés au hasard. Nous fournissons deux articles des deux modèles (dans un ordre aléatoire) ainsi que la phrase problématique qui décrit le sujet des articles. Ensuite, l'annotateur est invité à répondre à la question « Quel article est le plus biaisé ? », selon Spinde et al. (2021) ; Lee et coll. (2022). Nous obtenons trois annotations pour chaque échantillon et sélectionnons le vote majoritaire. Étant donné que de nombreux échantillons de test sont étroitement liés à la politique américaine, nous avons recruté trois citoyens/ressortissants/résidents non américains afin de minimiser tout parti pris politique ou préférence personnelle impliqué dans l'évaluation. Les trois annotateurs se présentent comme étant de tendance politique modérée et sont qualifiés pour mener l’évaluation en anglais (ils ont tous fait leurs études supérieures en anglais).


Pour vérifier que la sélection de celui qui est biaisé dans les paires n'est pas aléatoire, un test binomial est réalisé après obtention des résultats d'évaluation. L'hypothèse nulle était « La sélection des articles générés à partir de LR-INFO (notre méthode proposée) pour être moins biaisés est aléatoire ». Ensuite, nous avons obtenu une valeur p de 0,019, ce qui rejette l'hypothèse nulle (p < 0,05). Par conséquent, la sélection des articles générés à partir de LR-INFO pour être moins biaisés n’est pas aléatoire.


Lorsque le modèle est entraîné avec une perte de minimisation de polarité, il peut apprendre à supprimer les informations induisant un biais pendant que BARTNEUSFT-T souffre. Comme l'illustre le tableau 4, notre modèle LR-INFO pourrait supprimer l'information biaisée « Trump devrait attaquer les politiques d'immigration du président Joe Biden » du résumé sur la question « Trump s'exprimera à CPAC » alors que BARTNEUSFTT n'a pas réussi à la supprimer.


Tableau 4 : Exemple d’évaluation humaine.



Tableau 5 : Résultats expérimentaux pour nos modèles avec la perte de minimisation de polarité proposée, LR-VALENCE, LRAROUSAL, LR-INFO, LRC-AROUSAL, LRC-INFO, avec des poids variables (λ). Pour la mesure du biais de cadrage, le nombre le plus bas est le meilleur (↓). Pour les autres scores, plus le nombre est élevé, mieux c'est (↑). Les résultats de nos modèles avec perte de minimisation de polarité (ceux notés +) sont rapportés avec le meilleur λ. L'exploration complète de λ est disponible en annexe et sur la figure 2.