Cet article est disponible sur arxiv sous licence CC BY-NC-SA 4.0 DEED.   Auteurs:  (1) Shanshan Han et Qifan Zhang, UCI ;  (2) Wenxuan Wu, Université A&M du Texas ;  (3) Baturalp Buyukates, Yuhang Yao et Weizhao Jin, USC ;  (4) Salman Avestimehr, USC et FedML.  Tableau des liens   Résumé et introduction   Définition du problème   La détection d'anomalies en deux étapes proposée   Détection d'anomalies vérifiables à l'aide de ZKP   Évaluations   Travaux connexes   Conclusion et références  ABSTRAIT  Les systèmes d'apprentissage fédéré (FL) sont vulnérables aux clients malveillants qui soumettent des modèles locaux empoisonnés pour atteindre leurs objectifs contradictoires, comme empêcher la convergence du modèle global ou inciter le modèle global à mal classer certaines données. De nombreux mécanismes de défense existants ne sont pas pratiques dans les systèmes FL du monde réel, car ils nécessitent une connaissance préalable du nombre de clients malveillants ou reposent sur une repondération ou une modification des soumissions. En effet, les adversaires n’annoncent généralement pas leurs intentions avant d’attaquer, et une repondération peut modifier les résultats d’agrégation même en l’absence d’attaques. Pour relever ces défis dans les systèmes FL réels, cet article présente une approche de détection d'anomalies de pointe avec les fonctionnalités suivantes : i) Détecter l'apparition d'attaques et effectuer des opérations de défense uniquement lorsque des attaques se produisent ; ii) En cas d'attaque, détecter davantage les modèles clients malveillants et les éliminer sans nuire aux modèles inoffensifs ; iii) Garantir une exécution honnête des mécanismes de défense sur le serveur en tirant parti d'un mécanisme de preuve sans connaissance. Nous validons les performances supérieures de l’approche proposée par des expériences approfondies.  1. INTRODUCTION  Federated Learning (FL) (McMahan et al., 2017a) permet aux clients de former de manière collaborative des modèles d'apprentissage automatique sans partager leurs données locales avec d'autres parties, préservant ainsi la confidentialité et la sécurité de leurs données locales. En raison de sa nature respectueuse de la vie privée, FL a attiré une attention considérable dans divers domaines et a été utilisé dans de nombreux domaines (Hard et al., 2018 ; Chen et al., 2019 ; Ramaswamy et al., 2019 ; Leroy et al., 2019 ; Byrd et Polychroniadou, 2020 ; Chowdhury et al., 2022). Cependant, même si FL n’exige pas le partage de données brutes avec d’autres, sa nature décentralisée et collaborative introduit par inadvertance des vulnérabilités en matière de confidentialité et de sécurité (Cao & Gong, 2022 ; Bhagoji et al., 2019 ; Lam et al., 2021 ; Jin et al. , 2021 ; Tomsett et al., 2019 ; Chen et al., 2017 ; Tolpegin et al., 2020 ; Kariyaappa et al., 2022 ; Zhang et al., 2022c). Les clients malveillants dans les systèmes FL peuvent nuire à la formation en soumettant des modèles fallacieux pour empêcher la convergence du modèle global (Fang et al., 2020 ; Chen et al., 2017), ou en implantant des portes dérobées pour inciter le modèle global à mal fonctionner pour certains échantillons ( Bagdasaryan et al., 2020b;a ; Wang et al., 2020).  La littérature existante sur l'apprentissage robuste et l'atténuation des comportements contradictoires comprend Blanchard et al. (2017) ; Yang et coll. (2019) ; Fung et coll. (2020) ; Pillutla et coll. (2022) ; Lui et coll. (2022) ; Cao et coll. (2022) ; Karimireddy et coll. (2020) ; Sun et coll. (2019) ; Fu et coll. (2019) ; Ozdayi et coll. (2021) ; Sun et coll. (2021), etc. Ces approches présentent des lacunes, les rendant moins adaptées aux vrais systèmes FL. Certaines de ces stratégies nécessitent une connaissance préalable du nombre de clients malveillants au sein du système FL (Blanchard et al., 2017), même si en pratique un adversaire n’avertirait pas le système avant d’attaquer. En outre, certaines de ces méthodes atténuent les impacts des soumissions potentielles de clients malveillants en repondérant les modèles locaux (Fung et al., 2020), en ne conservant que quelques modèles locaux les plus susceptibles d'être inoffensifs tout en supprimant les autres (Blanchard et al., 2017), ou en modifiant la fonction d'agrégation (Pillutla et al., 2022). Ces méthodes peuvent potentiellement modifier involontairement les résultats de l'agrégation en l'absence d'attaques délibérées, étant donné que les attaques se produisent rarement.   dans des scénarios du monde réel. Même si les mécanismes de défense peuvent atténuer l’impact d’attaques potentielles, ils peuvent par inadvertance compromettre la qualité des résultats lorsqu’ils sont appliqués à des cas bénins.  De plus, les mécanismes de défense existants sont déployés au niveau du serveur FL sans aucune procédure de vérification pour garantir leur bonne exécution. Si la plupart des clients sont inoffensifs et souhaitent former de manière collaborative des modèles d'apprentissage automatique, ils peuvent également être sceptiques quant à la fiabilité du serveur en raison de l'exécution des mécanismes de défense qui modifient la procédure d'agrégation d'origine. Ainsi, une approche réussie de détection des anomalies doit simultanément satisfaire aux éléments suivants : i) Elle doit être capable de détecter l'apparition d'attaques et de traiter exclusivement les cas où des attaques se produisent. ii) Si une attaque est détectée, la stratégie doit détecter davantage les soumissions de clients malveillantes et, en conséquence, atténuer (ou éliminer) leurs impacts adverses sans nuire aux modèles de clients inoffensifs. iii) Il devrait y avoir un mécanisme solide pour corroborer l'exécution honnête des mécanismes de défense.  Dans ce travail, nous proposons un nouveau mécanisme de détection d'anomalies spécifiquement adapté pour relever les véritables défis rencontrés par les systèmes FL du monde réel. Notre approche suit un schéma en deux étapes au niveau du serveur pour filtrer les soumissions de clients malveillants avant l'agrégation. Il démarre par une vérification croisée basée sur un cache appelé « modèles de référence » pour déterminer si des attaques ont eu lieu. En cas d'attaques, une détection inter-clients ultérieure est exécutée pour éliminer les modèles de clients malveillants sans nuire aux modèles de clients inoffensifs. Pendant ce temps, les modèles de référence dans le cache sont renouvelés. Nous en donnons un aperçu dans la figure 1. Nos contributions sont résumées comme suit :    Notre stratégie est équipée d'une vérification initiale croisée pour détecter l'apparition d'attaques potentielles, garantissant que les méthodes défensives ne sont activées qu'en réponse à la présence d'attaques, préservant ainsi le caractère sacré du processus dans des scénarios sans attaque.  ) Détection proactive des attaques. i    En couplant la vérification croisée avec une détection ultérieure entre clients, notre approche élimine efficacement les soumissions client malveillantes sans nuire aux soumissions locales inoffensives.  ) Détection améliorée des anomalies. ii    Notre méthode fonctionne efficacement sans aucun prérequis tel que la distribution des données ou le nombre de clients malveillants. Une telle nature autonome garantit une applicabilité et une adaptabilité généralisées de notre approche à différentes tâches FL, quelle que soit la distribution des données et la sélection des modèles.  ) Autonomie par rapport aux connaissances préalables. iii    Intégrant les méthodologies Zero-Knowledge Proof (ZKP) (Goldwasser et al., 1989), notre approche garantit que l'élimination des modèles clients malveillants est exécutée correctement, garantissant ainsi que les clients peuvent faire confiance au mécanisme de défense du système FL.  ) Protocole de vérification rigoureux. iv

Read My Stories

The publication about the quantity of something. The theory about why that quantity is what is. And research!

Quantification's blog

Cet audio est produit dans la langue originale de l'histoire !

Trop long; Pour lire

Download free Tech Leaders Productivity Report!

Une approche de détection des anomalies sans connaissance pour un apprentissage fédéré robuste

About Author

COMMENTAIRES

ÉTIQUETTES

CET ARTICLE A ÉTÉ PARU DANS

Related Stories

Les couches invisibles : pourquoi les entretiens avec les utilisateurs sont un atout irremplaçable

Le modèle Bitcoin UTXO, alimentant un écosystème unique

La fuite de l'invite du système Claude Sonnet 3.5 : une analyse médico-légale

Appuyez pour gagner : Telegram pourrait intégrer les 10 prochains milliards d'utilisateurs de crypto avant Solana

Les couches invisibles : pourquoi les entretiens avec les utilisateurs sont un atout irremplaçable

Le modèle Bitcoin UTXO, alimentant un écosystème unique

La fuite de l'invite du système Claude Sonnet 3.5 : une analyse médico-légale

Appuyez pour gagner : Telegram pourrait intégrer les 10 prochains milliards d'utilisateurs de crypto avant Solana

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps