175 測定値

多言語メディアの粗い政治的立場の分類：概要と序論

に Tech Media Bias [Research Publication]4m2024/05/19

長すぎる; 読むには

この論文では、研究者らは、信頼できるニュースメディアの評価を使用して、AI が生成したニュース記事の中立性と言語間のスタンスの進化を分析しています。

featured image - 多言語メディアの粗い政治的立場の分類：概要と序論

‘media and politics’ Image created by HackerNoon AI Image Generator

この論文は、CC BY-NC-SA 4.0 DEED ライセンスの下で arxiv で公開されています。

著者:

（1）クリスティーナ・エスパーニャ・ボネット、DFKI GmbH、ザールラント情報学キャンパス。

リンク一覧

抽象的な

中立性は達成が難しく、政治においては主観的です。従来のメディアは通常、潜在的な読者がメディアの偏りの指標として使用できる編集方針を採用しています。現在、いくつかのプラットフォームが、政治的偏りに応じてニュースアウトレットを評価しています。編集方針と評価は、読者がニュースについてバランスの取れた見解を収集するのに役立ちます。しかし、指示に従う言語モデルの出現により、新聞記事の執筆などのタスクをコンピューターに委任することができます。偏ったペルソナを押し付けることなく、AI ベースのニュースアウトレットは偏りの評価のどこに位置するでしょうか。この研究では、本物のニュースアウトレットの評価を使用して、大まかなスタンス注釈 (左と右) と自動的に抽出されたトピック注釈を含む多言語ニュースコーパスを作成します。このデータでトレーニングされた分類器は、英語、ドイツ語、スペイン語、カタロニア語のほとんどの目に見えない新聞の編集方針を識別できることを示します。次に、ChatGPT と Bard が異なる時期に 4 つの言語で書いた 101 件の新聞のような記事に分類器を適用します。従来の新聞と同様に、ChatGPT の編集方針は時間とともに進化しており、データ駆動型システムであるため、生成される記事のスタンスは言語ごとに異なることがわかります。

1. はじめに

命令追従型言語モデル（ILM）はどこにでも存在します。その使用はまだ検索エンジンほど広まっていませんが、Alpaca（Taori et al., 2023）、Bard（Google、2023）、BLOOMZおよびmT0（Muennighoff et al., 2023）、ChatGPT（OpenAI、2023）、Llama 2-chat（Touvron et al., 2023）、Koala（Geng et al., 2023）などのシステムとモデルの可用性と高品質により、近い将来、その使用がより一般的になることが期待されています。これらのモデルはいくつかの問題に直面しており、最も関連性の高いのは信頼性の欠如です（van Dis et al., 2023; Huang et al., 2023; Wang et al., 2023a）。出力がファクトチェックされていない場合、信頼できる情報源として使用する準備が整っていません。言語モデル (LM) に基づくシステムの 2 つ目の大きな問題は、トレーニングデータに存在するバイアスを再現する可能性があることです (Navigli ら、2023)。バイアスは、データの不均衡による文化的な誤った表現から、書かれたテキストから再現された不快な行動まで多岐にわたります。LM は、入力と出力のペアと指示を使用した教師あり方式 (Wei ら、2022 年、Wang ら、2022 年、2023b) または人間のフィードバックからの強化学習 (Ouyang ら、2022 年、Nakano ら、2021) のいずれかで ILM に微調整されます。どちらの場合も、微調整によってバイアスを取り除くことができます。しかし、中立性は達成が非常に難しいものであり、教師データを生成する人間にとっても困難です。そのため、微調整フェーズでは、元のバイアスが過剰に修正されたり、新しいバイアスが導入されたりする可能性があります。LM 自体を使用して教師データを生成する方法では、元のバイアスが継承される可能性があります。我々はILMの特定の用途、つまり新聞記事の執筆に焦点を当てています。雑誌や新聞は、読者に一般的に知られている編集方針に従っています。さらに、AllSides [1] Media Bias Fact Check [2] (MB/FC)、またはAd Fontes Media [3]などのサイトでは、（主に米国の）メディアソースの政治的偏向と事実情報に関する品質についての評価を提供しています。これらの評価により、良心的な読者はバランスの取れた視点を得るためにどのメディアを選択するかについて情報に基づいた決定を下すことができます。しかし、ジャーナリストがChatGPTやBardなどのシステムを使用して執筆を支援するとどうなるでしょうか？前述のように、人間にも偏りがあり、それらに気付かないことが危険であり、ユーザー/読者の視点に影響を与える可能性があります（Jakesch et al.、2023; Carroll et al.、2023）。ChatGPTはすでに誤情報についてユーザーに警告しています。ただし、政治的偏りがある場合でも、ユーザーの主観的な認識からしかわかりません。

私たちは、ChatGPT と Bard によって英語、ドイツ語、スペイン語、カタロニア語の 4 つの言語で生成された記事について、上記の質問に対処します。私たちは、人間の介入をほとんど必要とせずに、自動的かつ体系的にこれを実行するため、この方法は、ほとんど労力をかけずに新しい言語や他の ILM に簡単に拡張できます。私たちの目的は、個々の記事を特定の偏向で分類することではなく、メディア偏向サイトが新聞やその他のメディアアウトレットに対して行うのと同様の方法で、メディアソース (この場合は ILM) を左派または右派として分類することです。

1. https://www.allsides.com

2. https://mediabiasfactcheck.com

3. https://adfontesmedia.com