
 
 
 
 
 
 
 著者: (1) Avi Schwarzschild, University of Maryland, College Park, Maryland, USA and Work completed while working at Arthur (avi1umd.edu) (2) Max Cembalest, Arthur, New York City, ニューヨーク, アメリカ (3) Karthik Rao, Arthur, New York City, ニューヨーク, 米国 (4) Keegan Hines, Arthur, ニューヨーク市, ニューヨーク, アメリカ (5) John Dickerson †, Arthur, ニューヨーク, ニューヨーク, 米国 (john@arthur.ai) Authors: (1) Avi Schwarzschild, University of Maryland, College Park, Maryland, USA and Work completed while working at Arthur (avi1umd.edu) (2) Max Cembalest, Arthur, New York City, ニューヨーク, アメリカ (3) Karthik Rao, Arthur, New York City, ニューヨーク, 米国 (4) Keegan Hines, Arthur, ニューヨーク市, ニューヨーク, アメリカ (5) John Dickerson †, Arthur, ニューヨーク, ニューヨーク, 米国 (john@arthur.ai) 左のテーブル 抽象と1 導入 1.1 ポストホック解説 1.2 不一致の問題 1.3 Encouraging Explanation Consensus 
 
 
 
 
 
 
 Related Work 
 
 Pear: Post HOC Explainer Agreement Regularizer 
 
 
 
 
 
 
 
 The Efficacy of Consensus Training 4.1 Agreement Metrics 4.2 Improving Consensus Metrics 4.3 Consistency At What Cost? 4.4 Are the Explanations Still Valuable? 4.5 Consensus and Linearity 4.6 Two Loss Terms 
 
 
 
 Discussion 5.1 Future Work 5.2 Conclusion, Acknowledgements, and References Appendix 抽象化 ニューラルネットワークがますますハイスタック設定で重要な決定を下すように、その行動を理解し、信頼できる方法でモニタリングし、説明することは不可欠です。 一般的に使用されるタイプの説明者は、ポストホック機能の割り当て、入力中の各機能にモデルの出力に影響を与えるスコアを付与するための方法の家族です。 実践におけるこの説明者の家族の主要な制限は、彼らが他のものよりも重要な機能の割り当ての違いを測定することができるということです。 この論文の私たちの貢献は、この意見の割り当ての問題を心に置いたトレーニングモデルの方法です。 我々は、標準的な用語の正確性に対応する研究期間に沿ってポストホック説明契約規則化(PEAR 1 INTRODUCTION 医療や金融などの重要な社会セクターから機械学習が分離されていくにつれて、複雑なモデルがどのように決断に達するかについての透明性の向上が重要になってきています。この研究では、生産環境で複雑なブラックボックスモデルの展開によって生じるモデル透明性をサポートする共通の課題を検討しています:入力のどの機能がモデルの出力に最も影響を与えるかを説明します。この実践により、データ科学者や機械学習の専門家は、モデル出力に大きな影響を与える機能がより重要であると考えられ、モデル出力にほとんど影響を与えない機能が重要であると考えられています。 1.1 ポストホック解説 The methods of model explanation considered in this paper are post hoc local feature attribution scores. The field of explainable artificial intelligence (XAI) is rapidly producing different methods of this type to make sense of model behavior [e.g., 21, 24, 30, 32, 37]. Each of these methods has a slightly different formula and interpretation of its raw output, but in general they all perform the same task of attributing a model’s behavior to its input features. When tasked to explain a model’s output with a corresponding input (and possible access to the model weights), these methods answer the question, “How influential is each individual feature of the input in the model’s computation of the output?” データサイエンティストは、LIMEやSHAPのような一般的な方法が、過去30日間で350万件、Pythonパッケージが600万件以上ダウンロードされたことから、ポストホック説明器を使用している。 1.2 The Disagreement Problem さまざまな説明方法の爆発により、クリシュナ氏らは、神経ネットワークが自然に訓練されるとき、すなわち正確性だけのために訓練されるとき、しばしばポストホック説明者は、モデルの出力にどの程度異なる特性が影響を与えたかについて異議を抱く。 モデルの透明性と解釈性という共通の目標を達成するために、地元の説明者とその真の価値について重要な議論が行われている(例、7、18、29を参照)、実際には、特定の分野における現在の説明方法の有効性についての議論が行われている(例、8を参照)。 この論文では、この議論に関して規範的な判断をしないが、むしろ「説明」は、機械学習操作(MLOps)パイプラインにおける他のデバッグ、検証、検証アプローチとともに使用されるシグナルと見なす。 1.3 共通説明の促進 二人の説明者の間の合意は、説明者がそれぞれの機能に対して同じ正確なスコアを出すことを必要としません。むしろ、説明者の間の合意は、彼らが示すいかなる不一致も和解することができることを意味します。データ科学者と機械学習の実践者は、説明が、人間の直感と一致する合意メトリックを満たすならば、説明が基本的な合意であると調査で述べています、これは合意が達成されている程度を定量的に評価する方法を提供します [15] 説明者の間の合意に直面したとき、次に何をすべきかについて選択しなければなりません - このような任意の交差点が専門モデルトレーニングを通じて避けられる場合、データ科学者のツールキットに有益な追加になると思います。 我々は、我々の主な貢献として、ポストホック説明の不一致がもたらす課題を緩和するのに役立つトレーニングルーチンを提案する。説明の間のより良い合意を達成することは、モデルに本質的により多くの解釈性を与えることはありません。しかし、それは、割り当ての異なるアプローチがどの特徴が重要であるかについてより頻繁に合意する場合に、説明により多くの信頼を寄与する可能性があります。これは、合意が健全性のチェックとして行動するという実用的な利点を与えます - 合意が観察される場合、実践者が使用する説明者の選択は、下流の利害関係者への影響に比べると、それらの解釈をより少ない主観的なものにします。 2 関連作品 私たちの仕事は、ポストホック説明ツールに焦点を当てています。 LIME [24] と SHAP [21] のようなポストホック説明ツールのいくつかは、ベースマシン学習モデルの上で訓練されたプロキシモデルで、そのベースモデルを「説明」する唯一の意図です。これらの説明者は、モデルの入力と出力にのみ依存し、突出する特徴を識別する。他の説明ツール、例えばVanilla Gradients (Grad) [32]、Gradient Times Input (Grad*Input) [30]、Integrated Gradients (IntGrad) [37] と SmoothGrad [34] は、モデルの入力と出力に基づいて、プロキシモデルを使用するのではなく、入力機能に関してモデルの 我々は、不一致の問題を定義し、探求する以前の作業に直接基づいて構築します [15]. 不一致は、ここで2つの特徴の割り当て方法の間の特徴の重要性スコアの違いを指しますが、測定基準 Krishna et al. によって説明されているいくつかの異なる方法で量子化することができます [15] 定義と使用。 この論文で私たちが提案する方法は、特徴の割り当てスコアと手作りの真実のスコア間の不一致について、罰金を介して説明に対する制約を含むモデルを訓練する以前の仕事に関連しています(26, 27, 41)。 
 
 この論文は CC BY 4.0 DEED ライセンスの下で archiv で利用できます。 この紙は  under CC BY 4.0 DEED license. available on arxiv ARCHIV で利用可能

Part of HackerNoon's growing list of open-source research papers, promoting free access to academic material.

Read My Stories

No technological innovation comes without sacrifice. The pendulum will swing back to the people! Wanna' be 501c3.

Reckoning's Blog

このオーディオは、ストーリーの元の言語で制作されています。

新しいAI研究がブラックボックスモデルの透明性の問題に対処

About Author

コメント

ラベル

この記事は

Related Stories

HackerNoon ライティングコンテストで優勝したいですか? #crypto-api コンテスト優勝者のおすすめはこちら

タップして稼ぐ：テレグラムはソラナより先に次の100億人の暗号通貨ユーザーを獲得する可能性がある

フロキのヴァルハラがインドのスリランカツアーのアソシエイトスポンサーに加わる

HackerNoon Coded: HackerNoonが最も活発に活動している上位10カ国

HackerNoon ライティングコンテストで優勝したいですか? #crypto-api コンテスト優勝者のおすすめはこちら

タップして稼ぐ：テレグラムはソラナより先に次の100億人の暗号通貨ユーザーを獲得する可能性がある

フロキのヴァルハラがインドのスリランカツアーのアソシエイトスポンサーに加わる

HackerNoon Coded: HackerNoonが最も活発に活動している上位10カ国

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps