Este artigo está disponível no arxiv sob licença CC BY-NC-SA 4.0 DEED.
Autores:
(1) Cristina España-Bonet, DFKI GmbH, Campus de Informática do Sarre.
As fontes mediáticas têm uma linha editorial e um preconceito associado. Livrar-se de preconceitos políticos é difícil para os humanos, mas estar ciente deles ajuda-nos a ter uma visão global das notícias. Às vezes, os preconceitos são claros e/ou aparecem na forma de texto prejudicial, mas às vezes são sutis e difíceis de detectar. Esses preconceitos sutis e ocultos são potencialmente perigosos e levam à manipulação sempre que não temos consciência deles. Neste trabalho, estudamos sistematicamente os preconceitos políticos sutis por trás do ChatGPT e do Bard, aqueles que aparecem sem atribuir qualquer papel de persona (Deshpande et al., 2023). Mostramos que a orientação do ChatGPT muda com o tempo e é diferente entre os idiomas. Entre fevereiro e agosto de 2023, o ChatGPT fez a transição de uma orientação política de esquerda para neutra, com um período de tendência de direita no meio para inglês e espanhol. A evolução de Bard ainda não pode ser estudada. Sua versão atual em agosto de 2023 mostra consistentemente tendência à esquerda nas 4 línguas em estudo. Este viés independe dos erros factuais que o modelo gera e também deve ser considerado pelos seus usuários. Fornecemos modelos para verificar regularmente o preconceito nas gerações de texto para os EUA, Alemanha e Espanha, bem como em contextos políticos e idiomas estreitamente relacionados, utilizando uma abordagem zero-shot.
Como subproduto da nossa análise, criámos um corpus multilingue de 1,2 milhões de artigos de jornais com anotações grosseiras sobre posições e tópicos políticos. Mostramos que a supervisão à distância nos permite construir modelos significativos para uma classificação grosseira de posturas políticas, desde que o corpus seja diversificado. Disponibilizamos esses dados juntamente com as gerações de LMs e nosso código através do Zenodo (España-Bonet, 2023) e Github.[12]
[12] https://github.com/cristinae/docTransformer