Многоязычная грубая политическая классификация СМИ: Аннотация и введение

Таблица ссылок

• Аннотация и введение
• Корпоративная подборка
• Классификация политических позиций
• Резюме и выводы
• Ограничения и заявление об этике
• Благодарности и ссылки
• А. Газеты в ОСКАР 22.01
• Б. Темы
• C. Распределение тем по газетам
• D. Темы для генерации статей ChatGPT и Bard
• E. Классификация позиций на уровне статей
• F. Детали обучения

Абстрактный

Нейтралитета трудно достичь, а в политике он субъективен. Традиционные СМИ обычно придерживаются редакционной линии, которую потенциальные читатели могут использовать в качестве индикатора предвзятости СМИ. Некоторые платформы в настоящее время оценивают новостные агентства по их политическим пристрастиям. Редакционная линия и рейтинги помогают читателям составить взвешенное представление о новостях. Но с появлением языковых моделей, основанных на инструкциях, такие задачи, как написание газетной статьи, можно делегировать компьютерам. Без навязывания предвзятого образа, какое место в рейтинге предвзятости заняло бы новостное издание, основанное на искусственном интеллекте? В этой работе мы используем рейтинги аутентичных новостных агентств для создания многоязычного корпуса новостей с грубыми аннотациями позиций (левых и правых), а также автоматически извлекаемыми тематическими аннотациями. Мы показываем, что классификаторы, обученные на этих данных, способны определить редакционную линию большинства невидимых газет на английском, немецком, испанском и каталонском языках. Затем мы применяем классификаторы к 101 газетной статье, написанной ChatGPT и Bard на четырех языках в разные периоды времени. Мы наблюдаем, что, как и в традиционных газетах, редакционная линия ChatGPT развивается со временем, и, поскольку это система, управляемая данными, позиция создаваемых статей различается на разных языках.

1. Введение

Языковые модели следования инструкциям (ILM) повсеместно распространены. Их использование пока не так распространено, как у поисковых систем, но благодаря наличию и высокому качеству таких систем и моделей, как Alpaca (Taori et al., 2023), Bard (Google, 2023), BLOOMZ и mT0 (Muennighoff et al., 2023), BLOOMZ и mT0 (Muennighoff et al., 2023). al., 2023), ChatGPT (OpenAI, 2023), Llama 2-chat (Touvron et al., 2023) или Koala (Geng et al., 2023), ожидается, что в ближайшем будущем их использование станет более распространенным. Эти модели сталкиваются с рядом проблем, наиболее важной из которых является недостаточная надежность (van Dis et al., 2023; Huang et al., 2023; Wang et al., 2023a). Они не готовы использоваться в качестве источника достоверной информации, если их результаты не проверены фактами. Вторая большая проблема с системами, основанными на языковых моделях (LM), заключается в том, что они могут воспроизводить предвзятости, присутствующие в данных обучения (Navigli et al., 2023). Предвзятости варьируются от культурных искажений из-за дисбаланса данных до оскорбительного поведения, воспроизведенного из письменных текстов. LM точно настраиваются на ILM либо контролируемым способом с использованием пар ввода-вывода и инструкций (Wei et al., 2022; Wang et al., 2022, 2023b), либо с помощью обучения с подкреплением на основе обратной связи от человека (Ouyang et al., 2022; Накано и др., 2021). В обоих случаях точная настройка должна помочь устранить предвзятость. Но нейтралитета очень трудно достичь, в том числе и для людей, которые генерируют контрольные данные. Таким образом, на этапе точной настройки могут быть исправлены первоначальные отклонения или введены новые. Для методов, которые генерируют данные надзора с помощью самого LM, исходные отклонения могут быть унаследованы. Мы фокусируемся на конкретном использовании ILM: написании газетных статей. Журналы и газеты следуют редакционной линии, которая в целом известна читателю. Кроме того, такие сайты, как AllSides [1] Media Bias Fact Check [2] (MB/FC) или Ad Fontes Media [3], предоставляют рейтинги политической предвзятости (в основном США) СМИ и их качества по отношению к фактической информации. Благодаря этим рейтингам добросовестные читатели могут принять обоснованное решение о том, какие средства массовой информации выбрать, чтобы получить сбалансированную точку зрения. Но что происходит, когда журналисты используют такие системы, как ChatGPT или Bard, для облегчения написания статей? Как было сказано выше, у людей также есть предубеждения, опасность заключается в незнании о них, поскольку они могут повлиять на точку зрения пользователя/читателя (Jakesch et al., 2023; Carroll et al., 2023). ChatGPT уже предупреждает своих пользователей о дезинформации. Однако политическая предвзятость, если таковая имеется, неизвестна, если не считать субъективного восприятия пользователя.

Мы отвечаем на приведенный выше вопрос для статей, созданных ChatGPT и Bard на четырех языках: английском, немецком, испанском и каталанском. Мы делаем это автоматически и систематически, практически без вмешательства человека, так что этот метод можно легко распространить на новые языки и другие ILM без особых усилий. Мы не стремимся классифицировать отдельные статьи с их конкретной предвзятостью, а классифицируем медиа-источник (в данном случае ILM) как лево- или правоориентированный аналогично тому, как это делают сайты с предвзятостью СМИ для газет и других средств массовой информации.

1. https://www.allsides.com

2. https://mediabiasfactcheck.com

3. https://adfontesmedia.com