Clasificación multilingüe de posturas políticas generales de los medios: resumen e introducción

Tabla de enlaces

• Resumen e introducción
• Compilación de corpus
• Clasificación de postura política
• Resumen y conclusiones
• Declaración de limitaciones y ética
• Agradecimientos y Referencias
• A. Periódicos en OSCAR 22.01
• B. Temas
• C. Distribución de Temas por Periódico
• D. Temas para la generación de artículos ChatGPT y Bard
• E. Clasificación de posturas a nivel de artículo
• F. Detalles de la capacitación

Abstracto

La neutralidad es difícil de lograr y, en política, subjetiva. Los medios tradicionales suelen adoptar una línea editorial que sus lectores potenciales pueden utilizar como indicador del sesgo de los medios. Actualmente, varias plataformas califican a los medios de comunicación según su sesgo político. La línea editorial y las calificaciones ayudan a los lectores a obtener una visión equilibrada de las noticias. Pero con la llegada de los modelos lingüísticos que siguen instrucciones, tareas como escribir un artículo periodístico se pueden delegar a las computadoras. Sin imponer una personalidad sesgada, ¿dónde se ubicaría un medio de comunicación basado en IA dentro de las calificaciones de sesgo? En este trabajo, utilizamos las calificaciones de medios de noticias auténticos para crear un corpus multilingüe de noticias con anotaciones de postura aproximadas (izquierda y derecha) junto con anotaciones de temas extraídas automáticamente. Mostramos que los clasificadores entrenados con estos datos son capaces de identificar la línea editorial de la mayoría de los periódicos invisibles en inglés, alemán, español y catalán. Luego aplicamos los clasificadores a 101 artículos tipo periódico escritos por ChatGPT y Bard en los 4 idiomas en diferentes períodos de tiempo. Observamos que, al igual que los periódicos tradicionales, la línea editorial de ChatGPT evoluciona con el tiempo y, al ser un sistema basado en datos, la postura de los artículos generados difiere entre idiomas.

1. Introducción

Los modelos lingüísticos de seguimiento de instrucciones (ILM) están omnipresentes. Su uso aún no está tan extendido como el de los buscadores, pero debido a la disponibilidad y alta calidad de sistemas y modelos como Alpaca (Taori et al., 2023), Bard (Google, 2023), BLOOMZ y mT0 (Muennighoff et al., 2023), ChatGPT (OpenAI, 2023), Llama 2-chat (Touvron et al., 2023) o Koala (Geng et al., 2023), se espera que su uso sea más común en un futuro próximo. Estos modelos enfrentan varios problemas siendo el más relevante la falta de confiabilidad (van Dis et al., 2023; Huang et al., 2023; Wang et al., 2023a). No están preparados para ser utilizados como fuente de información fiable si sus resultados no se verifican. Un segundo gran problema con los sistemas basados en modelos de lenguaje (LM) es el hecho de que podrían reproducir los sesgos presentes en los datos de entrenamiento (Navigli et al., 2023). Los sesgos van desde representaciones culturales erróneas debido a un desequilibrio de datos hasta comportamientos ofensivos reproducidos a partir de textos escritos. Los LM se ajustan a los ILM de forma supervisada utilizando pares de entrada-salida y una instrucción (Wei et al., 2022; Wang et al., 2022, 2023b) o con aprendizaje reforzado a partir de retroalimentación humana (Ouyang et al., 2022; Nakano et al., 2021). En ambos casos, el ajuste debería ayudar a eliminar el sesgo. Pero la neutralidad es algo muy difícil de lograr, también para los humanos que generan los datos de supervisión. Por lo tanto, la fase de ajuste podría corregir en exceso los sesgos originales o introducir otros nuevos. Para los métodos que generan los datos de supervisión con el propio LM, los sesgos originales pueden heredarse. Nos centramos en un uso específico de los ILM: la redacción de artículos periodísticos. Las revistas y periódicos siguen una línea editorial generalmente conocida por el lector. Además, sitios como AllSides [1] Media Bias Fact Check [2] (MB/FC), o Ad Fontes Media [3] proporcionan calificaciones sobre el sesgo político de las fuentes de medios (en su mayoría estadounidenses) y su calidad con respecto a la información fáctica. Con estas calificaciones, los lectores concienzudos pueden tomar decisiones informadas sobre qué medios de comunicación elegir para obtener una perspectiva equilibrada. Pero, ¿qué sucede cuando los periodistas utilizan sistemas como ChatGPT o Bard para ayudarse en sus escritos? Como se dijo anteriormente, los humanos también tenemos sesgos, el peligro radica en no ser conscientes de ellos, ya que podrían afectar la perspectiva del usuario/lector (Jakesch et al., 2023; Carroll et al., 2023). ChatGPT ya advierte a sus usuarios sobre información errónea. Sin embargo, el sesgo político, si lo hay, no se conoce más allá de la percepción subjetiva que tenga un usuario.

Abordamos la pregunta anterior para artículos generados por ChatGPT y Bard en cuatro idiomas: inglés, alemán, español y catalán. Hacemos esto de forma automática y sistemática casi sin intervención humana, de modo que el método pueda extenderse fácilmente a nuevos lenguajes y otros ILM con poco esfuerzo. No pretendemos clasificar artículos individuales con su sesgo específico, sino clasificar la fuente de medios (un ILM en este caso) como orientada a la izquierda o a la derecha de manera similar a como lo hacen los sitios de sesgo de los medios para los periódicos y otros medios de comunicación.

1. https://www.allsides.com

2. https://mediabiasfactcheck.com

3. https://adfontesmedia.com