Classification multilingue grossière des positions politiques des médias : résumé et conclusions

Tableau des liens

• Résumé et introduction
• Compilation de corpus
• Classification des positions politiques
• Résumé et conclusions
• Limites et déclaration d'éthique
• Remerciements et références
• A. Journaux dans OSCAR 22.01
• B. Thèmes
• C. Répartition des sujets par journal
• D. Sujets pour la génération d'articles ChatGPT et Bard
• E. Classification des positions au niveau de l'article
• F. Détails de la formation

4. Résumé et conclusions

Les sources médiatiques ont une ligne éditoriale et un parti pris associé. Il est difficile pour les humains de se débarrasser des préjugés politiques, mais en être conscient nous aide à avoir une vision globale de l’actualité. Les préjugés sont parfois évidents et/ou apparaissent sous la forme de textes nuisibles, mais ils sont parfois subtils et difficiles à détecter. Ces préjugés subtils et cachés sont potentiellement dangereux et conduisent à des manipulations lorsque nous n’en sommes pas conscients. Dans ce travail, nous avons systématiquement étudié les biais politiques subtils derrière ChatGPT et Bard, ceux qui apparaissent sans attribuer aucun rôle personnel (Deshpande et al., 2023). Nous avons montré que l'orientation de ChatGPT change avec le temps et qu'elle est différente selon les langues. Entre février et août 2023, ChatGPT est passé d'une orientation politique de gauche à neutre, avec une période de droite au milieu pour l'anglais et l'espagnol. L'évolution de Bard ne peut pas encore être étudiée. Sa version actuelle, en date d'août 2023, montre systématiquement une tendance à gauche pour les 4 langues étudiées. Ce biais est indépendant des erreurs factuelles générées par le modèle et doit également être pris en compte par ses utilisateurs. Nous proposons des modèles pour vérifier régulièrement les biais dans les générations de textes pour les États-Unis, l'Allemagne et l'Espagne, ainsi que dans des contextes politiques et des langues étroitement liés, en utilisant une approche zéro-shot.

En tant que sous-produit de notre analyse, nous avons créé un corpus multilingue de 1,2 million d'articles de journaux avec des annotations grossières sur la position et le sujet politiques. Nous montrons que la supervision à distance nous permet de construire des modèles significatifs pour une classification grossière des positions politiques, à condition que le corpus soit diversifié. Nous mettons à disposition ces données avec les générations LM et notre code via Zenodo (España-Bonet, 2023) et Github.[12]

[12] https://github.com/cristinae/docTransformer