堅牢なフェデレーテッド ラーニングのためのゼロ知識異常検出アプローチ

リンク表

要約とはじめに

問題設定

提案された 2 段階の異常検出

ZKP を使用した検証可能な異常検出

評価

関連事業

結論と参考文献

抽象的な

フェデレーション ラーニング (FL) システムは、グローバル モデルの収束を妨げたり、グローバル モデルに一部のデータを誤って分類させたりするなど、敵対的な目標を達成するためにポイズニングされたローカル モデルを送信する悪意のあるクライアントに対して脆弱です。既存の防御メカニズムの多くは、悪意のあるクライアントの数に関する事前の知識を必要としたり、送信の再重み付けや変更に依存したりするため、現実世界の FL システムでは実用的ではありません。これは、敵対者は通常、攻撃する前にその意図を発表しないためであり、攻撃がない場合でも再重み付けによって集計結果が変わる可能性があるためです。実際の FL システムにおけるこれらの課題に対処するために、この文書では、次の機能を備えた最先端の異常検出アプローチを紹介します。 i) 攻撃の発生を検出し、攻撃が発生した場合にのみ防御操作を実行します。 ii) 攻撃の発生時に、悪意のあるクライアント モデルをさらに検出し、良性のクライアント モデルに害を与えることなくそれらを排除します。 iii) ゼロ知識証明メカニズムを活用することにより、サーバーでの防御メカニズムの誠実な実行を保証します。広範な実験により、提案されたアプローチの優れたパフォーマンスを検証します。

1 はじめに

Federated Learning (FL) (McMahan et al.、2017a) を使用すると、クライアントはローカル データを他の当事者と共有することなく機械学習モデルを共同でトレーニングでき、ローカル データのプライバシーとセキュリティを維持できます。 FL は、そのプライバシー保護の性質により、さまざまなドメインにわたってかなりの注目を集め、多くの分野で利用されています (Hard et al., 2018; Chen et al., 2019; Ramaswamy et al., 2019; Leroy et al., 2019; Byrd & Polychroniadou、2020; Chowdhury et al.、2022)。ただし、FL では生のデータを他者と共有する必要がないにもかかわらず、その分散型で協調的な性質により、プライバシーとセキュリティの脆弱性がうっかり導入されてしまいます (Cao & Gong, 2022; Bhagoji et al., 2019; Lam et al., 2021; Jin et al., 2021)。 、2021;Tomsett et al.、2019;Chen et al.、2017;Tolpegin et al.、2020;Kariyappa et al.、2022;Zhang et al.、2022c)。 FL システムの悪意のあるクライアントは、グローバル モデルの収束を妨害するために偽のモデルを送信したり (Fang et al., 2020; Chen et al., 2017)、またはバックドアを仕掛けてグローバル モデルが特定のサンプルに対して誤った動作をするように仕向けたりすることで、トレーニングに損害を与える可能性があります ( Bagdasaryan et al.、2020b;a; Wang et al.、2020)。

敵対的行動の堅牢な学習と軽減に関する既存の文献には、Blanchard et al. （2017）;ヤンら。 （2019年）;ファンら。 （2020）;ピルトラら。 (2022);彼らは、 (2022);曹氏ら。 (2022);カリミレディら。 （2020）;サンら。 （2019年）;フーら。 （2019年）;オズダイら。 （2021年）;サンら。これらのアプローチには欠点があり、実際の FL システムにはあまり適していません。これらの戦略の一部は、実際には敵対者が攻撃前にシステムに通知しないとしても、FL システム内の悪意のあるクライアントの数についての事前知識を必要とします (Blanchard et al., 2017)。また、これらの手法の一部は、ローカル モデルの重み付けを変更することで潜在的な悪意のあるクライアントの送信の影響を軽減し (Fung et al.、2020)、良性である可能性が最も高いいくつかのローカル モデルのみを保持し、その他のモデルを削除します (Blanchard et al.、2020)。 2017)、または集計関数を変更する (Pillutla et al., 2022)。これらの方法では、攻撃が頻繁に発生しないことを考慮すると、意図的な攻撃がない場合に集計結果が意図せず変更される可能性があります。

現実世界のシナリオでは。防御メカニズムは潜在的な攻撃の影響を軽減できますが、無害なケースに適用すると、誤って結果の品質を損なう可能性があります。

さらに、既存の防御メカニズムは、正しく実行されることを保証するための検証手順なしで FL サーバーに展開されます。ほとんどのクライアントは無害であり、機械学習モデルを共同でトレーニングしたいと考えていますが、元の集計手順を変更する防御メカニズムの実行により、サーバーの信頼性に懐疑的な場合もあります。したがって、異常検出アプローチを成功させるには、次の条件を同時に満たす必要があります。 i) 攻撃の発生を検出し、攻撃が発生した場合にのみ処理できる必要があります。 ii) 攻撃が検出された場合、戦略は悪意のあるクライアントの送信をさらに検出し、それに応じて、良性のクライアント モデルを損なうことなく、敵対的な影響を軽減 (または排除) する必要があります。 iii) 防衛メカニズムの誠実な実行を裏付ける堅牢なメカニズムが存在する必要がある。

この研究では、現実世界の FL システムが直面する真の課題に対処するために特別に調整された新しい異常検出メカニズムを提案します。私たちのアプローチは、サーバーでの 2 段階のスキームに従って、集計前に悪意のあるクライアントの送信をフィルターで除外します。まず、「参照モデル」と呼ばれるキャッシュに基づいてクロスラウンド チェックを行い、攻撃が発生したかどうかを判断します。攻撃が発生した場合、後続のクロスクライアント検出が実行され、無害なクライアント モデルに害を与えることなく悪意のあるクライアント モデルが排除されます。その間、キャッシュ内の参照モデルが更新されます。図 1 に概要を示します。私たちの貢献は次のように要約されます。

i ) プロアクティブな攻撃検出。当社の戦略には、潜在的な攻撃の発生を検出するための最初のクロスラウンドチェックが装備されており、攻撃の存在に応じてのみ防御手段がアクティブになることが保証され、それによって攻撃のないシナリオでもプロセスの神聖性が維持されます。

ii ) 異常検出の強化。クロスラウンド チェックとその後のクロスクライアント検出を組み合わせることで、当社のアプローチは、良性のローカル送信を損なうことなく、悪意のあるクライアント送信を効率的に排除します。

iii ) 事前知識からの自律性。私たちの方法は、データの配布や悪意のあるクライアントの数などの前提条件なしで効果的に機能します。このような自律的な性質により、データの分布やモデルの選択に関係なく、さまざまな FL タスクにわたるアプローチの広範な適用性と適応性が保証されます。

iv ) 厳格な検証プロトコル。 Zero-Knowledge Proof (ZKP) (Goldwasser et al., 1989) 手法を組み込んだ当社のアプローチは、悪意のあるクライアント モデルの排除が正しく実行されることを保証し、クライアントが FL システムの防御メカニズムを信頼できるようにします。