paint-brush
Clasificación multilingüe de posturas políticas generales de los medios: resumen e introducciónpor@mediabias
145 lecturas

Clasificación multilingüe de posturas políticas generales de los medios: resumen e introducción

Demasiado Largo; Para Leer

En este artículo, los investigadores analizan la neutralidad de los artículos de noticias generados por IA y la evolución de la postura en todos los idiomas utilizando calificaciones auténticas de los medios de comunicación.
featured image - Clasificación multilingüe de posturas políticas generales de los medios: resumen e introducción
Media Bias [Deeply Researched Academic Papers] HackerNoon profile picture
0-item

Este documento está disponible en arxiv bajo licencia CC BY-NC-SA 4.0 DEED.

Autores:

(1) Cristina España-Bonet, DFKI GmbH, Campus de Informática del Sarre.

Tabla de enlaces


Abstracto

La neutralidad es difícil de lograr y, en política, subjetiva. Los medios tradicionales suelen adoptar una línea editorial que sus lectores potenciales pueden utilizar como indicador del sesgo de los medios. Actualmente, varias plataformas califican a los medios de comunicación según su sesgo político. La línea editorial y las calificaciones ayudan a los lectores a obtener una visión equilibrada de las noticias. Pero con la llegada de los modelos lingüísticos que siguen instrucciones, tareas como escribir un artículo periodístico se pueden delegar a las computadoras. Sin imponer una personalidad sesgada, ¿dónde se ubicaría un medio de comunicación basado en IA dentro de las calificaciones de sesgo? En este trabajo, utilizamos las calificaciones de medios de noticias auténticos para crear un corpus multilingüe de noticias con anotaciones de postura aproximadas (izquierda y derecha) junto con anotaciones de temas extraídas automáticamente. Mostramos que los clasificadores entrenados con estos datos son capaces de identificar la línea editorial de la mayoría de los periódicos invisibles en inglés, alemán, español y catalán. Luego aplicamos los clasificadores a 101 artículos tipo periódico escritos por ChatGPT y Bard en los 4 idiomas en diferentes períodos de tiempo. Observamos que, al igual que los periódicos tradicionales, la línea editorial de ChatGPT evoluciona con el tiempo y, al ser un sistema basado en datos, la postura de los artículos generados difiere entre idiomas.


1. Introducción

Los modelos lingüísticos de seguimiento de instrucciones (ILM) están omnipresentes. Su uso aún no está tan extendido como el de los buscadores, pero debido a la disponibilidad y alta calidad de sistemas y modelos como Alpaca (Taori et al., 2023), Bard (Google, 2023), BLOOMZ y mT0 (Muennighoff et al., 2023), ChatGPT (OpenAI, 2023), Llama 2-chat (Touvron et al., 2023) o Koala (Geng et al., 2023), se espera que su uso sea más común en un futuro próximo. Estos modelos enfrentan varios problemas siendo el más relevante la falta de confiabilidad (van Dis et al., 2023; Huang et al., 2023; Wang et al., 2023a). No están preparados para ser utilizados como fuente de información fiable si sus resultados no se verifican. Un segundo gran problema con los sistemas basados en modelos de lenguaje (LM) es el hecho de que podrían reproducir los sesgos presentes en los datos de entrenamiento (Navigli et al., 2023). Los sesgos van desde representaciones culturales erróneas debido a un desequilibrio de datos hasta comportamientos ofensivos reproducidos a partir de textos escritos. Los LM se ajustan a los ILM de forma supervisada utilizando pares de entrada-salida y una instrucción (Wei et al., 2022; Wang et al., 2022, 2023b) o con aprendizaje reforzado a partir de retroalimentación humana (Ouyang et al., 2022; Nakano et al., 2021). En ambos casos, el ajuste debería ayudar a eliminar el sesgo. Pero la neutralidad es algo muy difícil de lograr, también para los humanos que generan los datos de supervisión. Por lo tanto, la fase de ajuste podría corregir en exceso los sesgos originales o introducir otros nuevos. Para los métodos que generan los datos de supervisión con el propio LM, los sesgos originales pueden heredarse. Nos centramos en un uso específico de los ILM: la redacción de artículos periodísticos. Las revistas y periódicos siguen una línea editorial generalmente conocida por el lector. Además, sitios como AllSides [1] Media Bias Fact Check [2] (MB/FC), o Ad Fontes Media [3] proporcionan calificaciones sobre el sesgo político de las fuentes de medios (en su mayoría estadounidenses) y su calidad con respecto a la información fáctica. Con estas calificaciones, los lectores concienzudos pueden tomar decisiones informadas sobre qué medios de comunicación elegir para obtener una perspectiva equilibrada. Pero, ¿qué sucede cuando los periodistas utilizan sistemas como ChatGPT o Bard para ayudarse en sus escritos? Como se dijo anteriormente, los humanos también tenemos sesgos, el peligro radica en no ser conscientes de ellos, ya que podrían afectar la perspectiva del usuario/lector (Jakesch et al., 2023; Carroll et al., 2023). ChatGPT ya advierte a sus usuarios sobre información errónea. Sin embargo, el sesgo político, si lo hay, no se conoce más allá de la percepción subjetiva que tenga un usuario.


Abordamos la pregunta anterior para artículos generados por ChatGPT y Bard en cuatro idiomas: inglés, alemán, español y catalán. Hacemos esto de forma automática y sistemática casi sin intervención humana, de modo que el método pueda extenderse fácilmente a nuevos lenguajes y otros ILM con poco esfuerzo. No pretendemos clasificar artículos individuales con su sesgo específico, sino clasificar la fuente de medios (un ILM en este caso) como orientada a la izquierda o a la derecha de manera similar a como lo hacen los sitios de sesgo de los medios para los periódicos y otros medios de comunicación.



1. https://www.allsides.com

2. https://mediabiasfactcheck.com

3. https://adfontesmedia.com