Cet article est disponible sur arxiv sous licence CC BY-NC-SA 4.0 DEED.   Auteurs:  (1) Yejin Bang, Centre de recherche sur l'intelligence artificielle (CAiRE), Université des sciences et technologies de Hong Kong ;  (2) Nayeon Lee, Centre de recherche sur l'intelligence artificielle (CAiRE), Université des sciences et technologies de Hong Kong ;  (3) Pascale Fung, Centre de recherche sur l'intelligence artificielle (CAiRE), Université des sciences et technologies de Hong Kong.  Tableau des liens   Résumé et introduction   Travaux connexes   Approche   Expériences   Conclusion   Limites, déclaration d'éthique et références   A. Détails expérimentaux   B. Résultats de génération  A. Détails expérimentaux   BERTSCORE-F1 Pour évaluer les informations importantes, nous avons adopté la métrique BERTSCORE-F1 basée sur l'intégration de jetons. Nous avons utilisé la version pré-entraînée « microsoft/deberta-xlarge-mnli » fournie par (Zhang* et al., 2020) comme point de contrôle de pointe.  A.1 Évaluation humaine   Nous avons effectué l'évaluation avec 30 échantillons sélectionnés au hasard. Nous fournissons deux articles des deux modèles (dans un ordre aléatoire) ainsi que la phrase problématique qui décrit le sujet des articles. Ensuite, l'annotateur est invité à répondre à la question « Quel article est le plus biaisé ? », selon Spinde et al. (2021) ; Lee et coll. (2022). Nous obtenons trois annotations pour chaque échantillon et sélectionnons le vote majoritaire. Étant donné que de nombreux échantillons de test sont étroitement liés à la politique américaine, nous avons recruté trois citoyens/ressortissants/résidents   américains afin de minimiser tout parti pris politique ou préférence personnelle impliqué dans l'évaluation. Les trois annotateurs se présentent comme étant de tendance politique modérée et sont qualifiés pour mener l’évaluation en anglais (ils ont tous fait leurs études supérieures en anglais). non  Pour vérifier que la sélection de celui qui est biaisé dans les paires n'est pas aléatoire, un test binomial est réalisé après obtention des résultats d'évaluation. L'hypothèse nulle était « La sélection des articles générés à partir de LR-INFO (notre méthode proposée) pour être moins biaisés est aléatoire ». Ensuite, nous avons obtenu une valeur p de 0,019, ce qui rejette l'hypothèse nulle (p < 0,05). Par conséquent, la sélection des articles générés à partir de LR-INFO pour être moins biaisés n’est pas aléatoire.  Lorsque le modèle est entraîné avec une perte de minimisation de polarité, il peut apprendre à supprimer les informations induisant un biais pendant que BARTNEUSFT-T souffre. Comme l'illustre le tableau 4, notre modèle LR-INFO pourrait supprimer l'information biaisée « Trump devrait attaquer les politiques d'immigration du président Joe Biden » du résumé sur la question « Trump s'exprimera à CPAC » alors que BARTNEUSFTT n'a pas réussi à la supprimer. 

Part of HackerNoon's growing list of open-source research papers, promoting free access to academic material.

MediaBias.TECH

We publish deeply researched (and often vastly underread) academic papers about our collective omnipresent media bias.

MediaBias's

Cet audio est produit dans la langue originale de l'histoire !

Trop long; Pour lire

Boost your HackerNoon story @ $159.99! 🚀

Atténuer le biais de cadrage grâce à la perte de minimisation de polarité : détails expérimentaux

About Author

COMMENTAIRES

ÉTIQUETTES

CET ARTICLE A ÉTÉ PARU DANS

Related Stories

Les couches invisibles : pourquoi les entretiens avec les utilisateurs sont un atout irremplaçable

Télégramme : le pont de Crypto Island vers le continent

Le guide complet pour réussir une migration vers le cloud : stratégies et bonnes pratiques

La fuite de l'invite du système Claude Sonnet 3.5 : une analyse médico-légale

Les couches invisibles : pourquoi les entretiens avec les utilisateurs sont un atout irremplaçable

Télégramme : le pont de Crypto Island vers le continent

Le guide complet pour réussir une migration vers le cloud : stratégies et bonnes pratiques

La fuite de l'invite du système Claude Sonnet 3.5 : une analyse médico-légale

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps