この論文は、CC BY-NC-SA 4.0 DEED ライセンスの下で arxiv で公開されています。 著者:  （１）香港科技大学人工知能研究センター（CAiRE）、イェジン・バン氏 （２）香港科技大学人工知能研究センター（CAiRE）のナヨン・リー氏 （３）香港科技大学人工知能研究センター（CAiRE）、パスカル・ファング氏 リンク一覧 概要と序文 関連作業 アプローチ 実験 結論 制限事項、倫理声明および参考文献 A. 実験の詳細 B. 生成結果 A. 実験の詳細  BERTSCORE-F1 顕著な情報を評価するために、トークン埋め込みベースのメトリック BERTSCORE-F1 を採用しました。最先端のチェックポイントとして、(Zhang* et al.、2020) によって提供された事前トレーニング済みの「microsoft/deberta-xlarge-mnli」バージョンを使用しました。  A.1 人間による評価 評価は、ランダムに選択した 30 のサンプルで実施しました。2 つのモデルから 2 つの記事 (ランダムな順序) と、記事の内容を説明する問題文を提供します。次に、Spinde ら (2021)、Lee ら (2022) に従って、注釈者に「どちらの記事の偏りがより強いか」という質問に答えるように求めます。サンプルごとに 3 つの注釈を取得し、多数決を選択します。テスト サンプルの多くは米国の政治に密接に関連しているため、評価に含まれる政治的偏見や個人的な好みを最小限に抑えるために、米国市民/国民/居住者 3 名を募集しました。3 名の注釈者は全員、政治的傾向が中道であると主張しており、英語で評価を実施する資格があります (全員が英語で高等教育を受けています)。 以外の ペアのどちらが偏っているかの選択がランダムでないことを確認するために、評価結果を取得した後、二項検定を実施します。帰無仮説は、「LR-INFO（提案手法）から生成された記事のうち、偏りの少ない記事がランダムに選択される」でした。すると、p値0.019が得られ、帰無仮説（p < 0.05）が棄却されました。したがって、LR-INFOから生成された記事のうち、偏りの少ない記事がランダムに選択されるわけではありません。 モデルを極性最小化損失でトレーニングすると、BARTNEUSFT-T では問題が発生する一方で、バイアスを誘発する情報を除去することを学習できます。表 4 に示すように、LR-INFO モデルは、「トランプ大統領が CPAC で講演」という問題に関する要約から「トランプ大統領はジョー・バイデン大統領の移民政策を攻撃すると予想される」というバイアスを誘発する情報を除去することができましたが、BARTNEUSFTT ではこの情報を除去することができませんでした。 

Part of HackerNoon's growing list of open-source research papers, promoting free access to academic material.

MediaBias.TECH

We publish deeply researched (and often vastly underread) academic papers about our collective omnipresent media bias.

MediaBias's

このオーディオは、ストーリーの元の言語で制作されています。

長すぎる; 読むには

Boost your HackerNoon story @ $159.99! 🚀

極性最小化損失によるフレーミングバイアスの緩和: 実験の詳細

About Author

コメント

ラベル

この記事は

Related Stories

18 種類の開発者ツールで生産性を向上しましょう 🚀🔥

海を航海する: データレイクを使用した本番環境レベルの RAG アプリケーションの開発

Claude Sonnet 3.5 システムプロンプトの漏洩: 法医学的分析

HackerNoon Coded: HackerNoonが最も活発に活動している上位10カ国

18 種類の開発者ツールで生産性を向上しましょう 🚀🔥

海を航海する: データレイクを使用した本番環境レベルの RAG アプリケーションの開発

Claude Sonnet 3.5 システムプロンプトの漏洩: 法医学的分析

HackerNoon Coded: HackerNoonが最も活発に活動している上位10カ国

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps