253 測定値

多言語メディアの粗い政治的立場の分類: 政治的立場の分類

に Tech Media Bias [Research Publication]6m2024/05/19

長すぎる; 読むには

この論文では、研究者らは、信頼できるニュースメディアの評価を使用して、AI が生成したニュース記事の中立性と言語間のスタンスの進化を分析しています。

featured image - 多言語メディアの粗い政治的立場の分類: 政治的立場の分類

この論文は、CC BY-NC-SA 4.0 DEED ライセンスの下で arxiv で公開されています。

著者:

（1）クリスティーナ・エスパーニャ・ボネット、DFKI GmbH、ザールラント情報学キャンパス。

リンク一覧

3. 政治的立場の分類

ネットワーク。**我々は、検討対象の 4 言語を含む 100 言語でトレーニングされた多言語トランスフォーマーベースのマスクされた LM である XLM-RoBERTa large (Conneau et al., 2020) を微調整します。ネットワークの詳細とモデルごとのハイパーパラメータ探索については、付録 F に報告されています。

モデル。英語、ドイツ語、スペイン語のデータを使用した 3 つの単一言語の微調整と、データのシャッフルされた連結を使用した多言語のモデルの 4 つのモデルをトレーニングします。すべてのモデルは、単一言語または多言語で微調整された多言語埋め込み (RoBERTa) に基づいています。カタロニア語のモデルはトレーニングしていないことに注意してください。これにより、単一言語と多言語の微調整のパフォーマンスを比較し、ゼロショット言語転送に多言語モデルを使用する可能性を探ります。

新聞記事による大まかな分類。表 2 は結果をまとめたものです。すべてのモデルは、トレーニングデータと同じ分布から抽出された検証セットで 95% 以上の精度を達成しています。モデルが未知のデータでどのように動作するかを確認するために、表 1 のテスト新聞で左派 (L) と右派 (R) に分類される記事の割合を計算します。テストセットのブートストラップ再サンプリングを 1000 回のブートストラップで実行し、95% レベルの信頼区間を取得します。左派寄りの新聞のすべての記事が左派の特徴を明確に示すとは期待していませんが、中立クラスがないため、大多数の記事が左派に分類されると予想されます。良い結果は必ずしも 100%–0% ではありません。これも現実的ではないからです。新聞の記事の 50% 以上がそのように分類された場合、新聞は左派/右派の政治的立場を持つと分類されていると見なします。これらのケースは表 2 で太字で示されています。

これは、ドイツの右派新聞である die Preußische Allgemeine Zeitung (PAZ) を除くすべてのテスト新聞で得られた動作です。ドイツ語モデルは、英語の 47 紙とスペイン語の 38 紙と比較するために 12 紙のみでトレーニングされています。誤った分類は、多様性が最終的なモデルのパフォーマンスにとって重要な側面であることを示している可能性があります。多言語性は役に立たず、PAZ の記事の 65% が依然として左派として分類されています。また、2 つの近い言語であるドイツ語データに対する英語モデルの有効性も評価します。米国とドイツの新聞のトピックは大きく異なる可能性があることは認識していますが、英語のトレーニングデータの高い多様性により、これを補うことができる可能性があります。英語モデルは、ドイツの My Heimat を左派新聞 (L: 67±3%) として、PAZ を右派新聞 (R: 58±5%) として正しく分類できます。この場合も、ドイツ語モデルが多様性に欠けるコーパスでトレーニングされていることが違いの原因であると考えられます。多言語システムを使用する場合、出力を区別する支配的な要因は、スタンスではなく言語そのものです。英語データを追加しても、分類を大幅に変更するには不十分です。英語システムを使用する場合、言語はもはや役割を果たさず、スタンスの特徴のみが考慮されます。しかし、英語モデルをカタロニア語の新聞に適用すると、満足のいく結果は得られず (左派の新聞では 95±1%、右派の新聞では 16±3%)、言語間の関連性が重要であることがわかります。ただし、多言語モデルは、おそらく関連言語 (スペイン語) を含む異種コーパスでトレーニングされているため、カタロニア語の新聞のスタンスを適切に検出します。関連性の高い言語を扱う場合は、ゼロショット言語転移分類を実行できます。

ILM 生成記事による大まかな分類。表 2 の下部に結果の詳細を示します。ドイツ語のモデルではテスト新聞を適切に分類できなかったため、まず英語とスペイン語のモデルに焦点を当てます。ChatGPT で最も注目すべき点は、2 月 (v02) から 5 月 (v05) の間に政治的立場が大きく変化し、8 月 (v08) に中立に向かう動きが見られることです。この極性の変化は、出力の長さ (生成された記事における主要な浅い変化) の影響ではないことを確認しました。英語のトレーニングデータには、584 < 長さ (単語) < 624 (ChatPGTv05 の長さと同様) の 5,730 L–6,988 R 記事と、331 < 長さ < 371 (ChatGPtv02 と同様) の 4,563 L-7,127 R 記事があります。どちらの場合も、右派の立場の記事の数が多くなっていますが、ChatGPTv02の予測は明らかに左派を指しており、長さが分類に影響を与えるという仮説を否定しています。スペイン語でも同様のことが起こります。私たちのモデルによると、5月24日版の社説は右派のイデオロギーに近く、以前のバージョンのイデオロギーとは異なります。特に、この期間はChenら(2003)によると、いくつかのタスクの低下に対応しています。ドイツ語とカタロニア語の出力は、v05でも左派のイデオロギーの痕跡を示していますが、これを私たちの単一言語モデルで確認するには、より多様なトレーニングデータが必要になります。興味深いことに、ドイツ語とカタロニア語に英語の単一言語モデルを使用すると、左派の痕跡が残っています(ドイツ語で60±10%、カタロニア語で87±7%)。したがって、ChatGPTの政治的立場は言語に依存しているという兆候がありますが、これはデータ駆動型システムでは驚くべきことではありません。最後のバージョンである ChatGPTv08 は最も中立的なテキストを生成し、ドイツ語だけが明らかに左寄りになっています。2 つの世代、v08a と v08b は、結果が堅牢であり、特定の世代に結びついていないことを示しています。

私たちの時間枠をカバーする多言語版のBardのみが利用可能です。[7] 世代間の差異はChatGPTよりもBardの方が大きいですが、v08バージョンを比較すると、Bardは言語間でより一貫して左派を示しています。Bardの政治的志向は、政治テストやクイズの質問への回答によっても判断できます。Political Compass（PC）サイト[8]は、ヨーロッパ/西洋の観点から、経済政策（左派–右派）と社会政策（権威主義–自由主義）の2つの軸で政治イデオロギーを識別する62の命題を定義しており、範囲は両方とも[-10,10]です。各命題の後には、強く同意、同意、反対、強く反対の4つの選択肢が続きます。質問票[9]で尋ねられた場合、バードのスコアは英語では（-6.50、-4.77）、ドイツ語では（-8.00、-7.13）、スペイン語では（-5.75、-4.15）、カタロニア語では（-6.75、-4.56）であり、最初の数字は経済政策、2番目の数字は社会政策に対応しています。結果は表2と一致しており、直接の質問に頼らない私たちの方法の間接的な検証を示しています。[10]

ChatGPTは意見や好みを表明することを控えているため、この種の分析はもはや不可能であり、より間接的な方法で傾向を検出するアプローチの関連性を示しています。また、これらのアンケートはよく知られており公開されているため、LMに質問を避けたり、その提案に中立的な方法で反応するように指示するのは簡単であることにも注意してください。以前の研究では、ChatGPTの方向性を推定するために政治的なテストとアンケートのみを使用しました。Hartmannら (2023)は、PC、投票アドバイスアプリケーションWahl-O-Mat（ドイツ）からの38の政治的声明、およびStemWijzer（オランダ）からの30の政治的声明を使用して、2022年12月15日のバージョンのChatGPTのイデオロギーは環境保護主義的で左派リバタリアンであると結論付けました。

マンハッタン政策研究所[11]が実施した調査では、ChatGPTは英語に対して中道左派の政治的見解に典型的な回答をする傾向があることが報告されている（Rozado, 2023）。著者らは1月9日のChatGPTバージョンに15の政治的志向テストを実施しました。その結果は、2月13日のモデルの評価と一致しています。最後に、Motoki et al. (2023)は、PCに基づく一連のテストを行い、ChatGPTが左派に強く偏っていることを示しました。著者らは使用しているバージョンを明記していませんが、この研究は2023年3月に提出されました。したがって、これらの結果はすべて、5月に検出された右派への移行前のものとなります。

[7] 私たちが使用しているバージョンはカタロニア語を公式にはサポートしていませんが、ネイティブスピーカーは、生成はほとんど正確で流暢であり、文法的な間違いはほとんどないことを確認しています。

[8] https://www.politicalcompass.org/test（2023年8月13日から20日にアクセス）

[9] スペイン語のアンケートは入手できなかったため、カタロニア語に翻訳されました。

[10] 人間と同様に、ILMが何かを言う（命題の選択肢を選ぶ）ことと行動する（テキストを書く）ことが矛盾している可能性もある。

[11] Wikipediaによると保守系シンクタンク。