Postura política burda multilingüe Clasificación de los medios: limitaciones y declaración de ética

Tabla de enlaces

• Resumen e introducción
• Compilación de corpus
• Clasificación de postura política
• Resumen y conclusiones
• Declaración de limitaciones y ética
• Agradecimientos y Referencias
• A. Periódicos en OSCAR 22.01
• B. Temas
• C. Distribución de Temas por Periódico
• D. Temas para la generación de artículos ChatGPT y Bard
• E. Clasificación de posturas a nivel de artículo
• F. Detalles de la capacitación

5.1 Limitaciones

Estamos asumiendo que todos los medios de comunicación tienen una línea editorial y un sesgo asociado , y tratamos al ILM como cualquier otro medio de comunicación. No consideramos la posibilidad de que un artículo de ChatGPT o Bard sea imparcial. Esto está relacionado con el método de supervisión a distancia utilizado para recopilar los datos que actualmente permiten una anotación binaria de la postura política. Dado que anotar manualmente cientos de miles de artículos con sesgos políticos en un entorno verdaderamente multilingüe no parece posible en el futuro previsible, decidimos implementar un método completamente basado en datos y estudiar sus capacidades de transferencia de idioma y cultura.

Sin embargo, utilizar la supervisión a distancia para detectar la postura política a nivel de artículo es un tema delicado. Primero, porque un mismo periódico puede cambiar de ideología con el tiempo. En segundo lugar, y esto está más relacionado con el contenido de un artículo individual, los temas no controvertidos pueden no tener sesgos. Incluso en los casos en los que existe sesgo, hay un espectro que va desde la extrema izquierda hasta la extrema derecha, en lugar de una división clara entre las dos ideologías.

Para cuantificar y, si es posible, mitigar las limitaciones actuales, planeamos realizar un análisis estilístico de los corpus anotados por humanos (Baly et al., 2020; Aksenov et al., 2021) y compararlo con nuestro corpus anotado semiautomáticamente. . Como seguimiento de este trabajo, también realizaremos un análisis estilístico de los textos generados por ILM, ya que se necesita un estilo similar entre los datos de entrenamiento y estos textos para garantizar una buena generalización y capacidades de transferencia.

5.2. Declaración de Ética

Utilizamos modelos de lenguaje generativo, ChatGPT y Bard, para crear nuestros datos de prueba. Dado que tratamos varios temas controvertidos (pena de muerte, acoso sexual, drogas, etc.), la generación automática puede producir texto dañino. Los datos presentados aquí no han sido sometidos a ninguna revisión humana. Analizamos y proporcionamos el corpus tal como fue generado, junto con la indicación de la versión de los sistemas utilizados.