Mitigando o viés de enquadramento com perda de minimização de polaridade: detalhes experimentais

Tabela de links

• Resumo e introdução
• Trabalho relatado
• Abordagem
• Experimentos
• Conclusão
• Limitações, Declaração de Ética e Referências
• A. Detalhes Experimentais
• B. Resultados de Geração

A. Detalhes Experimentais

BERTSCORE-F1 Para avaliar informações importantes, adotamos a métrica BERTSCORE-F1 baseada em incorporação de token. Usamos a versão pré-treinada 'microsoft/deberta-xlarge-mnli' fornecida por (Zhang* et al., 2020) como ponto de verificação de última geração.

A.1 Avaliação Humana

Realizamos a avaliação com 30 amostras selecionadas aleatoriamente. Fornecemos dois artigos dos dois modelos (em ordem aleatória) junto com a frase temática que descreve o assunto dos artigos. Em seguida, o anotador é solicitado a responder à pergunta “Qual artigo é mais tendencioso?”, seguindo Spinde et al. (2021); Lee et al. (2022). Obtemos três anotações para cada amostra e selecionamos a votação majoritária. Como muitas das amostras de teste estão intimamente relacionadas com a política dos EUA, recrutamos três cidadãos/nacionais/residentes não americanos para minimizar qualquer preconceito político ou preferência pessoal envolvida na avaliação. Todos os três anotadores afirmaram-se moderados em termos de tendências políticas e estão qualificados para realizar a avaliação em inglês (todos receberam o ensino superior em inglês).

Para verificar se a seleção de qual deles é tendencioso nos pares não é aleatória, é realizado um teste binomial após a obtenção dos resultados da avaliação. A hipótese nula foi “A seleção de artigos gerados a partir do LR-INFO (nosso método proposto) para serem menos tendenciosos é aleatória”. Obteve-se então um valor de p de 0,019, que rejeitou a hipótese nula (p < 0,05). Portanto, a seleção dos artigos gerados a partir do LR-INFO para serem menos tendenciosos não é aleatória.

Quando o modelo é treinado com perda de minimização de polaridade, ele pode aprender a remover informações indutoras de polarização enquanto o BARTNEUSFT-T sofre. Conforme ilustrado na Tabela 4, o nosso modelo LR-INFO poderia remover informações indutoras de preconceito “Espera-se que Trump ataque as políticas de imigração do Presidente Joe Biden” do resumo sobre a questão de “Trump falará no CPAC” enquanto BARTNEUSFTT não conseguiu removê-las.