656 чтения

Уменьшение смещения кадра с помощью минимизации потерь полярности: детали эксперимента

к Tech Media Bias [Research Publication]2m2024/05/18

Слишком долго; Читать

В этой статье исследователи обращаются к предвзятости в средствах массовой информации, которая является ключевым фактором политической поляризации. Они предлагают новую функцию потерь, чтобы минимизировать различия в полярности отчетности и эффективно снизить предвзятость.

featured image - Уменьшение смещения кадра с помощью минимизации потерь полярности: детали эксперимента

Этот документ доступен на arxiv под лицензией CC BY-NC-SA 4.0 DEED.

Авторы:

(1) Еджин Банг, Центр исследований искусственного интеллекта (CAiRE), Гонконгский университет науки и технологий;

(2) Наён Ли, Центр исследований искусственного интеллекта (CAiRE), Гонконгский университет науки и технологий;

(3) Паскаль Фунг, Центр исследований искусственного интеллекта (CAiRE), Гонконгский университет науки и технологий.

Таблица ссылок

А. Детали эксперимента

BERTSCORE-F1 Для оценки важной информации мы использовали метрику BERTSCORE-F1 на основе внедрения токенов. В качестве современной контрольной точки мы использовали предварительно обученную версию microsoft/deberta-xlarge-mnli, предоставленную (Zhang* et al., 2020).

А.1 Человеческая оценка

Мы провели оценку с использованием 30 случайно выбранных образцов. Мы предоставляем две статьи из двух моделей (в случайном порядке) вместе с проблемным предложением, описывающим, о чем эти статьи. Затем аннотатора просят ответить на вопрос «Какая статья более предвзята?», Следуя Spinde et al. (2021 г.); Ли и др. (2022). Получаем по три аннотации для каждого образца и выбираем большинством голосов. Поскольку многие из тестовых образцов тесно связаны с политикой США, мы набрали трех граждан/подданных/резидентов, не являющихся гражданами США, чтобы свести к минимуму любую политическую предвзятость или личные предпочтения, участвующие в оценке. Все три комментатора заявили, что они придерживаются умеренных политических взглядов и имеют право проводить оценку на английском языке (все они получили высшее образование на английском языке).

Для проверки того, что выбор того, какой из них является смещенным в парах, не является случайным, после получения результатов оценки проводится биномиальный тест. Нулевая гипотеза заключалась в следующем: «Отбор статей, созданных с помощью LR-INFO (предложенный нами метод), как менее предвзятых, является случайным». Затем мы получили значение p 0,019, что отвергло нулевую гипотезу (p <0,05). Таким образом, выбор статей, созданных на базе LR-INFO, как менее предвзятых, не является случайным.

Когда модель обучается с минимизацией потерь полярности, она может научиться удалять информацию, вызывающую смещение, в то время как BARTNEUSFT-T страдает. Как показано в Таблице 4, наша модель LR-INFO могла бы удалить вызывающую предвзятость информацию «Ожидается, что Трамп будет атаковать иммиграционную политику президента Джо Байдена» из резюме по вопросу «Трамп выступит на CPAC», в то время как BARTNEUSFTT не смог удалить ее.