極性最小化損失によるフレーミングバイアスの緩和: 実験の詳細

リンク一覧

• 概要と序文
• 関連作業
• アプローチ
• 実験
• 結論
• 制限事項、倫理声明および参考文献
• A. 実験の詳細
• B. 生成結果

A. 実験の詳細

BERTSCORE-F1 顕著な情報を評価するために、トークン埋め込みベースのメトリック BERTSCORE-F1 を採用しました。最先端のチェックポイントとして、(Zhang* et al.、2020) によって提供された事前トレーニング済みの「microsoft/deberta-xlarge-mnli」バージョンを使用しました。

A.1 人間による評価

評価は、ランダムに選択した 30 のサンプルで実施しました。2 つのモデルから 2 つの記事 (ランダムな順序) と、記事の内容を説明する問題文を提供します。次に、Spinde ら (2021)、Lee ら (2022) に従って、注釈者に「どちらの記事の偏りがより強いか」という質問に答えるように求めます。サンプルごとに 3 つの注釈を取得し、多数決を選択します。テスト サンプルの多くは米国の政治に密接に関連しているため、評価に含まれる政治的偏見や個人的な好みを最小限に抑えるために、米国市民/国民/居住者以外の3 名を募集しました。3 名の注釈者は全員、政治的傾向が中道であると主張しており、英語で評価を実施する資格があります (全員が英語で高等教育を受けています)。

ペアのどちらが偏っているかの選択がランダムでないことを確認するために、評価結果を取得した後、二項検定を実施します。帰無仮説は、「LR-INFO（提案手法）から生成された記事のうち、偏りの少ない記事がランダムに選択される」でした。すると、p値0.019が得られ、帰無仮説（p < 0.05）が棄却されました。したがって、LR-INFOから生成された記事のうち、偏りの少ない記事がランダムに選択されるわけではありません。

モデルを極性最小化損失でトレーニングすると、BARTNEUSFT-T では問題が発生する一方で、バイアスを誘発する情報を除去することを学習できます。表 4 に示すように、LR-INFO モデルは、「トランプ大統領が CPAC で講演」という問題に関する要約から「トランプ大統領はジョー・バイデン大統領の移民政策を攻撃すると予想される」というバイアスを誘発する情報を除去することができましたが、BARTNEUSFTT ではこの情報を除去することができませんでした。