Classification multilingue grossière des positions politiques des médias : résumé et introduction

Tableau des liens

• Résumé et introduction
• Compilation de corpus
• Classification des positions politiques
• Résumé et conclusions
• Limites et déclaration d'éthique
• Remerciements et références
• A. Journaux dans OSCAR 22.01
• B. Thèmes
• C. Répartition des sujets par journal
• D. Sujets pour la génération d'articles ChatGPT et Bard
• E. Classification des positions au niveau de l'article
• F. Détails de la formation

Abstrait

La neutralité est difficile à atteindre et, en politique, subjective. Les médias traditionnels adoptent généralement une ligne éditoriale qui peut être utilisée par leurs lecteurs potentiels comme indicateur du parti pris médiatique. Plusieurs plateformes évaluent actuellement les médias en fonction de leur parti pris politique. La ligne éditoriale et les audiences aident les lecteurs à avoir une vision équilibrée de l'actualité. Mais avec l’avènement des modèles linguistiques qui suivent des instructions, des tâches telles que la rédaction d’un article de journal peuvent être déléguées à des ordinateurs. Sans imposer une personnalité biaisée, où se situerait un média basé sur l’IA dans les cotes de partialité ? Dans ce travail, nous utilisons les évaluations de médias authentiques pour créer un corpus d'actualités multilingue avec des annotations de position grossières (gauche et droite) ainsi que des annotations de sujet automatiquement extraites. Nous montrons que les classificateurs formés sur ces données sont capables d'identifier la ligne éditoriale de la plupart des journaux inédits en anglais, allemand, espagnol et catalan. Nous appliquons ensuite les classificateurs à 101 articles de type journal écrits par ChatGPT et Bard dans les 4 langues à différentes périodes. Nous observons que, à l'instar des journaux traditionnels, la ligne éditoriale de ChatGPT évolue avec le temps et, étant un système basé sur les données, la position des articles générés diffère selon les langues.

1. Introduction

Les modèles de langage qui suivent les instructions (ILM) sont omniprésents. Leur utilisation n'est pas encore aussi étendue que celle des moteurs de recherche, mais en raison de la disponibilité et de la haute qualité de systèmes et de modèles tels que Alpaca (Taori et al., 2023), Bard (Google, 2023), BLOOMZ et mT0 (Muennighoff et al., 2023), ChatGPT (OpenAI, 2023), Llama 2-chat (Touvron et al., 2023), ou Koala (Geng et al., 2023), leur utilisation devrait être plus courante dans un avenir proche. Ces modèles sont confrontés à plusieurs problèmes, le plus important étant le manque de fiabilité (van Dis et al., 2023 ; Huang et al., 2023 ; Wang et al., 2023a). Ils ne sont pas prêts à être utilisés comme source d’informations fiables si leurs résultats ne sont pas vérifiés. Un deuxième gros problème avec les systèmes basés sur des modèles de langage (LM) est le fait qu'ils peuvent reproduire les biais présents dans les données d'entraînement (Navigli et al., 2023). Les biais vont de la mauvaise représentation culturelle due au déséquilibre des données aux comportements offensants reproduits à partir de textes écrits. Les LM sont affinés en ILM soit de manière supervisée à l'aide de paires d'entrées-sorties et d'une instruction (Wei et al., 2022 ; Wang et al., 2022, 2023b) ou avec un apprentissage par renforcement à partir du feedback humain (Ouyang et al., 2022 ; Nakano et coll., 2021). Dans les deux cas, le réglage fin devrait contribuer à éliminer les biais. Mais la neutralité est quelque chose de très difficile à atteindre, également pour les humains qui génèrent les données de surveillance. La phase de réglage fin pourrait donc surcorriger les biais d’origine ou en introduire de nouveaux. Pour les méthodes qui génèrent les données de supervision avec le LM lui-même, les biais d'origine peuvent être hérités. Nous nous concentrons sur une utilisation spécifique des ILM : la rédaction d’articles de journaux. Les revues et journaux suivent une ligne éditoriale généralement connue du lecteur. En outre, des sites tels que AllSides [1] Media Bias Fact Check [2] (MB/FC) ou Ad Fontes Media [3] fournissent des évaluations sur les préjugés politiques des sources médiatiques (principalement américaines) et leur qualité par rapport aux informations factuelles. Grâce à ces évaluations, les lecteurs consciencieux peuvent prendre des décisions éclairées sur les médias à choisir afin d'obtenir une perspective équilibrée. Mais que se passe-t-il lorsque les journalistes utilisent des systèmes tels que ChatGPT ou Bard pour les aider dans leur rédaction ? Comme indiqué ci-dessus, les humains ont également des préjugés, le danger réside dans leur méconnaissance, car ils pourraient affecter le point de vue de l'utilisateur/lecteur (Jakesch et al., 2023 ; Carroll et al., 2023). ChatGPT met déjà en garde ses utilisateurs contre la désinformation. Cependant, le parti pris politique, le cas échéant, n'est pas connu en dehors de la perception subjective qu'a un utilisateur.

Nous abordons la question ci-dessus pour les articles générés par ChatGPT et Bard en quatre langues : anglais, allemand, espagnol et catalan. Nous le faisons de manière automatique et systématique, avec presque aucune intervention humaine, afin que la méthode puisse être facilement étendue à de nouveaux langages et autres ILM avec peu d'effort. Notre objectif n’est pas de classer les articles individuels selon leurs préjugés spécifiques, mais de classer la source médiatique (un ILM dans ce cas) comme étant orientée à gauche ou à droite, de la même manière que le font les sites de biais médiatiques pour les journaux et autres médias.

1. https://www.allsides.com

2. https://mediabiasfactcheck.com

3. https://adfontesmedia.com