多语言媒体粗略政治立场分类：摘要和简介

链接表

• 摘要和简介
• 语料库编撰
• 政治立场分类
• 总结和结论
• 限制和道德声明
• 致谢和参考文献
• A. OSCAR 22.01 中的报纸
• B. 主题
• C. 各报纸主题分布
• D. ChatGPT 和 Bard 文章生成的主题
• E. 文章层面的立场分类
• F. 培训详情

抽象的

中立很难实现，而且在政治上是主观的。传统媒体通常采用编辑路线，潜在读者可以将其用作媒体偏见的指标。目前，几个平台根据新闻媒体的政治偏见对其进行评级。编辑路线和评级有助于读者对新闻形成平衡的看法。但随着遵循指令的语言模型的出现，诸如撰写报纸文章之类的任务可以委托给计算机。如果不强加有偏见的人物，基于人工智能的新闻媒体在偏见评级中会处于什么位置？在这项工作中，我们使用真实新闻媒体的评级来创建一个多语言新闻语料库，其中包含粗略的立场注释（左和右）以及自动提取的主题注释。我们表明，用这些数据训练的分类器能够识别大多数未见过的英语、德语、西班牙语和加泰罗尼亚语报纸的编辑路线。然后，我们将分类器应用于 ChatGPT 和 Bard 在不同时期用 4 种语言撰写的 101 篇类似报纸的文章。我们观察到，与传统报纸类似，ChatGPT 的编辑路线随着时间的推移而发展，并且作为一个数据驱动的系统，生成的文章的立场因语言而异。

1. 简介

指令跟随语言模型 (ILM) 无处不在。它们的使用范围尚未像搜索引擎那样广泛，但由于 Alpaca (Taori 等人，2023 年)、Bard (Google，2023 年)、BLOOMZ 和 mT0 (Muennighoff 等人，2023 年)、ChatGPT (OpenAI，2023 年)、Llama 2-chat (Touvron 等人，2023 年) 或 Koala (Geng 等人，2023 年) 等系统和模型的可用性和高质量，预计它们的使用在不久的将来会更加普遍。这些模型面临几个问题，其中最相关的是缺乏可信度 (van Dis 等人，2023 年；Huang 等人，2023 年；Wang 等人，2023a)。如果它们的输出未经事实核查，它们还不能用作可靠信息的来源。基于语言模型 (LM) 的系统的第二大问题是，它们可能会重现训练数据中存在的偏差（Navigli 等人，2023 年）。偏差范围从由于数据不平衡导致的文化错误表征到从书面文本中重现的攻击性行为。LM 可以通过使用输入输出对和指令的监督方式（Wei 等人，2022 年；Wang 等人，2022 年、2023b 年）或通过从人类反馈中进行强化学习（Ouyang 等人，2022 年；Nakano 等人，2021 年）微调为 ILM。在这两种情况下，微调都应该有助于消除偏差。但中立性很难实现，对于生成监督数据的人来说也是如此。因此，微调阶段可能会过度纠正原始偏差或引入新的偏差。对于使用 LM 本身生成监督数据的方法，原始偏差可能会被继承。我们专注于 ILM 的一个特定用途：报纸文章的写作。期刊和报纸遵循读者通常知道的编辑路线。此外，AllSides [1] Media Bias Fact Check [2] (MB/FC) 或 Ad Fontes Media [3] 等网站对（主要是美国）媒体来源的政治偏见及其事实信息质量进行了评级。通过这些评级，认真的读者可以做出明智的决定，选择哪些媒体渠道以获得平衡的视角。但是，当记者使用 ChatGPT 或 Bard 等系统来辅助写作时会发生什么？如上所述，人类也有偏见，危险在于没有意识到这些偏见，因为它们可能会影响用户/读者的观点（Jakesch 等人，2023 年；Carroll 等人，2023 年）。ChatGPT 已经警告其用户注意错误信息。但是，除了用户的主观看法之外，政治偏见（如果有的话）是未知的。

我们针对 ChatGPT 和 Bard 生成的文章（英语、德语、西班牙语和加泰罗尼亚语）回答了上述问题。我们以自动和系统的方式进行操作，几乎无需人工干预，因此该方法可以轻松扩展到新语言和其他 ILM，而无需付出太多努力。我们的目标不是根据具体偏见对单个文章进行分类，而是将媒体来源（在本例中为 ILM）分类为左派或右派，就像媒体偏见网站对报纸和其他媒体机构所做的那样。

1. https://www.allsides.com

2. https://mediabiasfactcheck.com

3. https://adfontesmedia.com