Une approche de détection des anomalies sans connaissance pour un apprentissage fédéré robuste

Tableau des liens

Résumé et introduction

Définition du problème

La détection d'anomalies en deux étapes proposée

Détection d'anomalies vérifiables à l'aide de ZKP

Évaluations

Travaux connexes

Conclusion et références

ABSTRAIT

Les systèmes d'apprentissage fédéré (FL) sont vulnérables aux clients malveillants qui soumettent des modèles locaux empoisonnés pour atteindre leurs objectifs contradictoires, comme empêcher la convergence du modèle global ou inciter le modèle global à mal classer certaines données. De nombreux mécanismes de défense existants ne sont pas pratiques dans les systèmes FL du monde réel, car ils nécessitent une connaissance préalable du nombre de clients malveillants ou reposent sur une repondération ou une modification des soumissions. En effet, les adversaires n’annoncent généralement pas leurs intentions avant d’attaquer, et une repondération peut modifier les résultats d’agrégation même en l’absence d’attaques. Pour relever ces défis dans les systèmes FL réels, cet article présente une approche de détection d'anomalies de pointe avec les fonctionnalités suivantes : i) Détecter l'apparition d'attaques et effectuer des opérations de défense uniquement lorsque des attaques se produisent ; ii) En cas d'attaque, détecter davantage les modèles clients malveillants et les éliminer sans nuire aux modèles inoffensifs ; iii) Garantir une exécution honnête des mécanismes de défense sur le serveur en tirant parti d'un mécanisme de preuve sans connaissance. Nous validons les performances supérieures de l’approche proposée par des expériences approfondies.

1. INTRODUCTION

Federated Learning (FL) (McMahan et al., 2017a) permet aux clients de former de manière collaborative des modèles d'apprentissage automatique sans partager leurs données locales avec d'autres parties, préservant ainsi la confidentialité et la sécurité de leurs données locales. En raison de sa nature respectueuse de la vie privée, FL a attiré une attention considérable dans divers domaines et a été utilisé dans de nombreux domaines (Hard et al., 2018 ; Chen et al., 2019 ; Ramaswamy et al., 2019 ; Leroy et al., 2019 ; Byrd et Polychroniadou, 2020 ; Chowdhury et al., 2022). Cependant, même si FL n’exige pas le partage de données brutes avec d’autres, sa nature décentralisée et collaborative introduit par inadvertance des vulnérabilités en matière de confidentialité et de sécurité (Cao & Gong, 2022 ; Bhagoji et al., 2019 ; Lam et al., 2021 ; Jin et al. , 2021 ; Tomsett et al., 2019 ; Chen et al., 2017 ; Tolpegin et al., 2020 ; Kariyaappa et al., 2022 ; Zhang et al., 2022c). Les clients malveillants dans les systèmes FL peuvent nuire à la formation en soumettant des modèles fallacieux pour empêcher la convergence du modèle global (Fang et al., 2020 ; Chen et al., 2017), ou en implantant des portes dérobées pour inciter le modèle global à mal fonctionner pour certains échantillons ( Bagdasaryan et al., 2020b;a ; Wang et al., 2020).

La littérature existante sur l'apprentissage robuste et l'atténuation des comportements contradictoires comprend Blanchard et al. (2017) ; Yang et coll. (2019) ; Fung et coll. (2020) ; Pillutla et coll. (2022) ; Lui et coll. (2022) ; Cao et coll. (2022) ; Karimireddy et coll. (2020) ; Sun et coll. (2019) ; Fu et coll. (2019) ; Ozdayi et coll. (2021) ; Sun et coll. (2021), etc. Ces approches présentent des lacunes, les rendant moins adaptées aux vrais systèmes FL. Certaines de ces stratégies nécessitent une connaissance préalable du nombre de clients malveillants au sein du système FL (Blanchard et al., 2017), même si en pratique un adversaire n’avertirait pas le système avant d’attaquer. En outre, certaines de ces méthodes atténuent les impacts des soumissions potentielles de clients malveillants en repondérant les modèles locaux (Fung et al., 2020), en ne conservant que quelques modèles locaux les plus susceptibles d'être inoffensifs tout en supprimant les autres (Blanchard et al., 2017), ou en modifiant la fonction d'agrégation (Pillutla et al., 2022). Ces méthodes peuvent potentiellement modifier involontairement les résultats de l'agrégation en l'absence d'attaques délibérées, étant donné que les attaques se produisent rarement.

dans des scénarios du monde réel. Même si les mécanismes de défense peuvent atténuer l’impact d’attaques potentielles, ils peuvent par inadvertance compromettre la qualité des résultats lorsqu’ils sont appliqués à des cas bénins.

De plus, les mécanismes de défense existants sont déployés au niveau du serveur FL sans aucune procédure de vérification pour garantir leur bonne exécution. Si la plupart des clients sont inoffensifs et souhaitent former de manière collaborative des modèles d'apprentissage automatique, ils peuvent également être sceptiques quant à la fiabilité du serveur en raison de l'exécution des mécanismes de défense qui modifient la procédure d'agrégation d'origine. Ainsi, une approche réussie de détection des anomalies doit simultanément satisfaire aux éléments suivants : i) Elle doit être capable de détecter l'apparition d'attaques et de traiter exclusivement les cas où des attaques se produisent. ii) Si une attaque est détectée, la stratégie doit détecter davantage les soumissions de clients malveillantes et, en conséquence, atténuer (ou éliminer) leurs impacts adverses sans nuire aux modèles de clients inoffensifs. iii) Il devrait y avoir un mécanisme solide pour corroborer l'exécution honnête des mécanismes de défense.

Dans ce travail, nous proposons un nouveau mécanisme de détection d'anomalies spécifiquement adapté pour relever les véritables défis rencontrés par les systèmes FL du monde réel. Notre approche suit un schéma en deux étapes au niveau du serveur pour filtrer les soumissions de clients malveillants avant l'agrégation. Il démarre par une vérification croisée basée sur un cache appelé « modèles de référence » pour déterminer si des attaques ont eu lieu. En cas d'attaques, une détection inter-clients ultérieure est exécutée pour éliminer les modèles de clients malveillants sans nuire aux modèles de clients inoffensifs. Pendant ce temps, les modèles de référence dans le cache sont renouvelés. Nous en donnons un aperçu dans la figure 1. Nos contributions sont résumées comme suit :

i ) Détection proactive des attaques. Notre stratégie est équipée d'une vérification initiale croisée pour détecter l'apparition d'attaques potentielles, garantissant que les méthodes défensives ne sont activées qu'en réponse à la présence d'attaques, préservant ainsi le caractère sacré du processus dans des scénarios sans attaque.

ii ) Détection améliorée des anomalies. En couplant la vérification croisée avec une détection ultérieure entre clients, notre approche élimine efficacement les soumissions client malveillantes sans nuire aux soumissions locales inoffensives.

iii ) Autonomie par rapport aux connaissances préalables. Notre méthode fonctionne efficacement sans aucun prérequis tel que la distribution des données ou le nombre de clients malveillants. Une telle nature autonome garantit une applicabilité et une adaptabilité généralisées de notre approche à différentes tâches FL, quelle que soit la distribution des données et la sélection des modèles.

iv ) Protocole de vérification rigoureux. Intégrant les méthodologies Zero-Knowledge Proof (ZKP) (Goldwasser et al., 1989), notre approche garantit que l'élimination des modèles clients malveillants est exécutée correctement, garantissant ainsi que les clients peuvent faire confiance au mécanisme de défense du système FL.