paint-brush
Mitigando o viés de enquadramento com perda de minimização de polaridade: detalhes experimentaispor@mediabias
656 leituras
656 leituras

Mitigando o viés de enquadramento com perda de minimização de polaridade: detalhes experimentais

Muito longo; Para ler

Neste artigo, os pesquisadores abordam o preconceito de enquadramento na mídia, um fator-chave da polarização política. Eles propõem uma nova função de perda para minimizar as diferenças de polaridade nos relatórios, reduzindo efetivamente o viés.
featured image - Mitigando o viés de enquadramento com perda de minimização de polaridade: detalhes experimentais
Tech Media Bias [Research Publication] HackerNoon profile picture
0-item

Este artigo está disponível no arxiv sob licença CC BY-NC-SA 4.0 DEED.

Autores:

(1) Yejin Bang, Centro de Pesquisa em Inteligência Artificial (CAiRE), Universidade de Ciência e Tecnologia de Hong Kong;

(2) Nayeon Lee, Centro de Pesquisa em Inteligência Artificial (CAiRE), Universidade de Ciência e Tecnologia de Hong Kong;

(3) Pascale Fung, Centro de Pesquisa em Inteligência Artificial (CAiRE), Universidade de Ciência e Tecnologia de Hong Kong.

Tabela de links

A. Detalhes Experimentais


BERTSCORE-F1 Para avaliar informações importantes, adotamos a métrica BERTSCORE-F1 baseada em incorporação de token. Usamos a versão pré-treinada 'microsoft/deberta-xlarge-mnli' fornecida por (Zhang* et al., 2020) como ponto de verificação de última geração.

A.1 Avaliação Humana


Realizamos a avaliação com 30 amostras selecionadas aleatoriamente. Fornecemos dois artigos dos dois modelos (em ordem aleatória) junto com a frase temática que descreve o assunto dos artigos. Em seguida, o anotador é solicitado a responder à pergunta “Qual artigo é mais tendencioso?”, seguindo Spinde et al. (2021); Lee et al. (2022). Obtemos três anotações para cada amostra e selecionamos a votação majoritária. Como muitas das amostras de teste estão intimamente relacionadas com a política dos EUA, recrutamos três cidadãos/nacionais/residentes não americanos para minimizar qualquer preconceito político ou preferência pessoal envolvida na avaliação. Todos os três anotadores afirmaram-se moderados em termos de tendências políticas e estão qualificados para realizar a avaliação em inglês (todos receberam o ensino superior em inglês).


Para verificar se a seleção de qual deles é tendencioso nos pares não é aleatória, é realizado um teste binomial após a obtenção dos resultados da avaliação. A hipótese nula foi “A seleção de artigos gerados a partir do LR-INFO (nosso método proposto) para serem menos tendenciosos é aleatória”. Obteve-se então um valor de p de 0,019, que rejeitou a hipótese nula (p < 0,05). Portanto, a seleção dos artigos gerados a partir do LR-INFO para serem menos tendenciosos não é aleatória.


Quando o modelo é treinado com perda de minimização de polaridade, ele pode aprender a remover informações indutoras de polarização enquanto o BARTNEUSFT-T sofre. Conforme ilustrado na Tabela 4, o nosso modelo LR-INFO poderia remover informações indutoras de preconceito “Espera-se que Trump ataque as políticas de imigração do Presidente Joe Biden” do resumo sobre a questão de “Trump falará no CPAC” enquanto BARTNEUSFTT não conseguiu removê-las.


Tabela 4: Exemplo de Avaliação Humana.



Tabela 5: Resultados experimentais para nossos modelos com proposta de perda de minimização de polaridade, LR-VALENCE, LRAROUSAL, LR-INFO, LRC-AROUSAL, LRC-INFO, com pesos variados (λ). Para a métrica de viés de enquadramento, o número menor é melhor (↓). Para outras pontuações, quanto maior o número melhor (↑). Os resultados de nossos modelos com perda de minimização de polaridade (aqueles indicados com +) são relatados com melhor λ. A exploração completa de λ está disponível no Apêndice e na Figura 2