部分プロトタイプベースの分類器の解釈可能性について: 人間中心の分析

リンク一覧

概要と序文

背景情報

方法論

プロトタイプの解釈可能性

プロトタイプとクエリの類似性

意思決定プロセスの解釈可能性

プロトタイプ数が少ないことの影響

議論

抽象的な

部分プロトタイプ ネットワークは、現在使用されている多くのブラック ボックス画像分類器の解釈可能な代替手段として、最近注目を集めています。ただし、人間のユーザーの観点から見たこれらの方法の解釈可能性は十分に調査されていません。この研究では、部分プロトタイプ ベースのモデルの解釈可能性を人間の視点から評価するためのフレームワークを考案しました。提案されたフレームワークは、3 つの実用的なメトリックと実験で構成されています。フレームワークの有用性を実証するために、Amazon Mechanical Turk を使用して広範な一連の実験を実行しました。これらの実験は、さまざまな部分プロトタイプ ベースのモデルの解釈可能性を評価するフレームワークの能力を示しているだけでなく、私たちの知る限り、統一されたフレームワークでこのような方法を評価する最も包括的な研究でもあります。

導入

人工知能と機械学習が社会や経済の多くの部分で普及するにつれて、透明性、公平性、信頼性の必要性が高まっています。最先端の方法やアルゴリズムの多くはブラックボックスであり、意思決定プロセスは人間にとって不透明です。解釈可能で説明可能な人工知能は、ブラックボックスモデルの決定を説明するか、それ自体が本質的に解釈可能な方法を提供することで、この問題に対処することを目指しています。

プロトタイプベースの分類器は、プロトタイプの例を使用して決定を下す、本質的に解釈可能な方法のカテゴリです。プロトタイプ自体が人間に理解可能である限り、決定自体も解釈可能であると想定されています[1]。プロトタイプベースの分類器は新しい発明ではありません。解釈可能性の必要性が切迫するずっと前から、多くの分類器が存在していました[2–6]。近年、ニューラルネットワークのパワーと表現力をプロトタイプベースの分類器の意思決定プロセスと組み合わせてプロトタイプニューラルネットを作成する新しい方法が提案されています[7]、[8]。これにより、プロセスにおいて本質的に解釈可能でありながら、最先端技術と競合できる結果が得られます。

プロトタイプベースの分類器の新しいサブカテゴリは、部分プロトタイプネットワークです。これらのネットワークは通常、画像分類の領域で動作し、クエリ画像全体ではなく、クエリサンプルの領域を使用して決定を下します。ProtoPNet[9]は、最先端の精度を提供しながら、画像分類のきめ細かい説明を提供する最初の方法です。図1は、部分プロトタイプ方式がどのように決定を下すかの例を示しています。

これらの方法によって与えられる説明は、互いに大きく異なる場合があります。説明の全体的なレイアウトが類似している場合でも、部分プロトタイプ自体は大きく異なる場合があります。同じレベルの解釈可能性を提供すると想定するのは異常です。したがって、解釈可能性の評価が必要です。

これらの方法の多くはモデルのパフォーマンスを評価し、それを最先端のものと比較していますが、方法の解釈可能性を分析するものはほとんどありません。この点に関する分析のほとんどは、解釈可能性を評価するための自動メトリクスに焦点を当てているようです[10]。このような自動メトリクスは便利ですが、人間による解釈可能性の評価に代わるものではありません。人間が支援するデバッグに取り組んでいる人もいますが[11]、それを方法の解釈可能性の完全な評価にまで拡張していません。

Kimらは、人間が視覚概念を評価する方法を提案し、ProtoPNetとProtoTreeで実験を行った[12]が、その評価にはいくつかの問題があります。Kimらの実験の規模は小さく、単一のデータセットのみを使用して評価された部分プロトタイプ法は2つだけです。その研究の実験設計も、人間の注釈者によるきめ細かい評価に依存しています。このタイプの設計は、各オプションの意味についてのコンセンサスがない場合、人間の意見を測定する信頼性の低い方法になる可能性があります[13]。人間のユーザーが200の鳥のクラス間の区別の細部に精通しているという兆候がないにもかかわらず、クラスラベルを使用してCUBデータセットのプロトタイプの品質を測定しました。最後に、ProtoPNetとProtoTreeのプロトタイプのデフォルトの長方形表現を使用しました。これらの表現は、実際のアクティベーションヒートマップと比較して、人間のユーザーにとって過度に広範で誤解を招く傾向があります。結果として、部分プロトタイプ法の解釈可能性を評価するための一連の実験からなる人間中心の分析を提案します。

目標

部分プロトタイプ システムの解釈可能性は、明確に定義された概念ではありません。この研究では、そのようなシステムが解釈可能であるために備えるべき 3 つの特性に焦点を当てます。

• プロトタイプ自体の解釈可能性: プロトタイプが参照する概念は、人間が認識し理解できるものでなければなりません。図 2 (a) は、無関係な背景領域を指しているため解釈できないプロトタイプの例を示しています。特に、機械学習手法とニューラル ネットワークは、人間が理解できない可能性のあるデータ内の特徴の組み合わせに基づいて正しい決定を下すことができます。さらに、そのような特徴の提示は非常に重要です。プロトタイプは非常に珍しい概念を参照しているかもしれませんが、その提示により、人間は決定の背後にある理由を理解していると誤って信じてしまう可能性があります。

• プロトタイプとクエリサンプルの対応する領域の類似性: プロトタイプ自体は人間にとって簡単に理解できるものであっても、クエリサンプル上でのその活性化はプロトタイプと同じ概念を示さない可能性がある。図2(b)はこの問題の例を示している。これは、プロトタイプが存在する埋め込み空間の構造的類似性が、人間の類似性の理解と互換性がないことを示しているため重要である。これは、以前の文献[14]で報告されている問題である。

• プロトタイプベースの方法の重要な側面は、意思決定プロセス自体の解釈可能性です。プロトタイプとクエリサンプルのアクティブ化されたパッチとの類似性が人間に理解されていても、最終的な決定は理解できない場合があります。たとえば、モデルはサンプルを正しく分類するために無関係なプロトタイプを選択して使用する場合があります。

この研究の主な新規性は、人間の注釈者を使用して部分プロトタイプベースのネットワークの解釈可能性を評価するための、より堅牢なフレームワークです。いくつかの以前の方法では、自動メトリックに基づいてそのような評価を試みており[10]、他のいくつかの研究では、他のタイプの説明可能なAI方法の解釈可能性の人間ベースの評価に取り組んできました[15]、[16]。最も近い研究はHIVE[12]ですが、これは私たちのアプローチで対処されているいくつかの問題を抱えています。これについては次のセクションで詳しく説明します。

この研究のもう 1 つの目新しい点は、部分プロトタイプ ベースの分類器の解釈可能性を評価するための 3 つの実用的な指標と実験を提案したことです。モデルがこれらのテストに合格しない場合は、解釈可能なモデルとしては適切ではないと私たちは考えています。これらの指標は、将来の研究者がアプローチの解釈可能性について単に仮定するのではなく、証拠を提供するのに役立ちます。

最後に、Amazon Mechanical Turk を使用した一連の広範な実験には、3 つのデータセットでの 6 つの関連手法の比較が含まれています。私たちの知る限り、これは統一されたフレームワークでこのような手法の解釈可能性を評価する最も包括的な研究です。