Este artigo está disponível no arxiv sob licença CC BY-NC-SA 4.0 DEED.   Autores:  (1) Shanshan Han e Qifan Zhang, UCI;  (2) Wenxuan Wu, Universidade Texas A&M;  (3) Baturalp Buyukates, Yuhang Yao e Weizhao Jin, USC;  (4) Salman Avestimehr, USC e FedML.  Tabela de links   Resumo e introdução   Configuração de problemas   A proposta de detecção de anomalias em dois estágios   Detecção de anomalia verificável usando ZKP   Avaliações   Trabalhos relacionados   Conclusão e Referências  ABSTRATO  Os sistemas de aprendizagem federada (FL) são vulneráveis a clientes mal-intencionados que enviam modelos locais envenenados para atingir seus objetivos adversários, como impedir a convergência do modelo global ou induzir o modelo global a classificar incorretamente alguns dados. Muitos mecanismos de defesa existentes são impraticáveis em sistemas de FL do mundo real, pois exigem conhecimento prévio do número de clientes maliciosos ou dependem de reponderação ou modificação de envios. Isto ocorre porque os adversários normalmente não anunciam as suas intenções antes de atacar, e a reponderação pode alterar os resultados da agregação mesmo na ausência de ataques. Para enfrentar esses desafios em sistemas FL reais, este artigo apresenta uma abordagem de detecção de anomalias de ponta com os seguintes recursos: i) Detectar a ocorrência de ataques e realizar operações de defesa apenas quando os ataques acontecem; ii) Na ocorrência de um ataque, detectar ainda os modelos de clientes maliciosos e eliminá-los sem prejudicar os benignos; iii) Garantir a execução honesta dos mecanismos de defesa no servidor, aproveitando um mecanismo de prova de conhecimento zero. Validamos o desempenho superior da abordagem proposta com extensos experimentos.  1. INTRODUÇÃO  O Federated Learning (FL) (McMahan et al., 2017a) permite que os clientes treinem modelos de aprendizado de máquina de forma colaborativa sem compartilhar seus dados locais com outras partes, mantendo a privacidade e a segurança de seus dados locais. Devido à sua natureza de preservação da privacidade, a FL tem atraído atenção considerável em vários domínios e tem sido utilizada em inúmeras áreas (Hard et al., 2018; Chen et al., 2019; Ramaswamy et al., 2019; Leroy et al., 2019; Byrd & Polychroniadou, 2020; Chowdhury et al., 2022). No entanto, embora a FL não exija a partilha de dados brutos com terceiros, a sua natureza descentralizada e colaborativa introduz inadvertidamente vulnerabilidades de privacidade e segurança (Cao & Gong, 2022; Bhagoji et al., 2019; Lam et al., 2021; Jin et al., 2021; Jin et al. , 2021; Tomsett et al., 2019; Chen et al., 2017; Tolpegin et al., 2020; Kariyappa et al., 2022; Zhang et al., 2022c). Clientes maliciosos em sistemas FL podem prejudicar o treinamento, enviando modelos espúrios para impedir a convergência do modelo global (Fang et al., 2020; Chen et al., 2017) ou plantando backdoors para induzir o modelo global a funcionar incorretamente para determinadas amostras ( Bagdasaryan et al., 2020b;a; Wang et al., 2020).  A literatura existente sobre aprendizagem robusta e mitigação de comportamentos adversários inclui Blanchard et al. (2017); Yang et al. (2019); Fung et al. (2020); Pillutla et al. (2022); Ele e outros. (2022); Cao et al. (2022); Karimireddy et al. (2020); Sun et al. (2019); Fu et al. (2019); Ozdayi et al. (2021); Sun et al. (2021), etc. Essas abordagens apresentam deficiências, tornando-as menos adequadas para sistemas FL reais. Algumas dessas estratégias requerem conhecimento prévio sobre o número de clientes maliciosos dentro do sistema FL (Blanchard et al., 2017), embora na prática um adversário não notifique o sistema antes de atacar. Além disso, alguns desses métodos mitigam os impactos de possíveis envios de clientes mal-intencionados, reponderando os modelos locais (Fung et al., 2020), mantendo apenas vários modelos locais que têm maior probabilidade de serem benignos e removendo outros (Blanchard et al., 2020). 2017) ou modificando a função de agregação (Pillutla et al., 2022). Esses métodos têm o potencial de alterar involuntariamente os resultados da agregação na ausência de ataques deliberados, considerando que os ataques acontecem com pouca frequência   em cenários do mundo real. Embora os mecanismos de defesa possam mitigar o impacto de potenciais ataques, podem comprometer inadvertidamente a qualidade do resultado quando aplicados a casos benignos.  Além disso, os mecanismos de defesa existentes são implantados no servidor FL sem quaisquer procedimentos de verificação para garantir a sua correta execução. Embora a maioria dos clientes seja benigna e deseje treinar modelos de aprendizado de máquina de forma colaborativa, eles também podem ser céticos quanto à confiabilidade do servidor devido à execução dos mecanismos de defesa que modificam o procedimento de agregação original. Assim, uma abordagem bem-sucedida de detecção de anomalias deve satisfazer simultaneamente o seguinte: i) Deve ser capaz de detectar a ocorrência de ataques e tratar exclusivamente os casos em que os ataques acontecem. ii) Se um ataque for detectado, a estratégia deve detectar ainda mais envios maliciosos de clientes e, consequentemente, mitigar (ou eliminar) seus impactos adversários sem prejudicar os modelos de clientes benignos. iii) Deve haver um mecanismo robusto para corroborar a execução honesta dos mecanismos de defesa.  Neste trabalho, propomos um novo mecanismo de detecção de anomalias que é especificamente adaptado para enfrentar os desafios genuínos enfrentados pelos sistemas FL do mundo real. Nossa abordagem segue um esquema de dois estágios no servidor para filtrar envios maliciosos de clientes antes da agregação. Ele inicia com uma verificação cruzada baseada em algum cache chamado “modelos de referência” para determinar se ocorreu algum ataque. Em caso de ataques, uma detecção subsequente entre clientes é executada para eliminar modelos de clientes maliciosos sem prejudicar os modelos de clientes benignos. Entretanto, os modelos de referência na cache são renovados. Fornecemos uma visão geral na Figura 1. Nossas contribuições são resumidas da seguinte forma:    A nossa estratégia está equipada com uma verificação cruzada inicial para detectar a ocorrência de potenciais ataques, garantindo que os métodos defensivos só são activados em resposta à presença de ataques, mantendo assim a santidade do processo em cenários livres de ataques.  ) Detecção proativa de ataques. i    Ao acoplar a verificação cruzada com uma detecção subseqüente de clientes cruzados, nossa abordagem elimina eficientemente envios maliciosos de clientes sem prejudicar os envios locais benignos.  ) Detecção aprimorada de anomalias. ii    Nosso método funciona de forma eficaz, sem quaisquer pré-requisitos, como distribuição de dados ou número de clientes maliciosos. Essa natureza autônoma garante ampla aplicabilidade e adaptabilidade da nossa abordagem em diferentes tarefas de FL, independentemente da distribuição de dados e da seleção de modelos.  ) Autonomia de conhecimentos prévios. iii    Incorporando metodologias Zero-Knowledge Proof (ZKP) (Goldwasser et al., 1989), nossa abordagem garante que a eliminação de modelos de clientes maliciosos seja executada corretamente, garantindo que os clientes possam confiar no mecanismo de defesa do sistema FL.  ) Protocolo de verificação rigoroso. iv

Read My Stories

The publication about the quantity of something. The theory about why that quantity is what is. And research!

Quantification's blog

Este áudio é produzido no idioma original da história!

Muito longo; Para ler

Download free Tech Leaders Productivity Report!

Uma abordagem de detecção de anomalias de conhecimento zero para aprendizagem federada robusta

About Author

COMENTARIOS

Rótulos

ESTE ARTIGO FOI APRESENTADO EM

Related Stories

Como melhorar seu fluxo de trabalho em 10 vezes: 17 aplicativos essenciais

Quer ganhar um concurso de redação do HackerNoon? Aqui está o que os vencedores do concurso #crypto-api recomendam

As camadas invisíveis: por que as entrevistas com usuários são um ativo insubstituível

Crescimento de Criptomoedas: Criando Personas de Usuários Eficazes

Como melhorar seu fluxo de trabalho em 10 vezes: 17 aplicativos essenciais

Quer ganhar um concurso de redação do HackerNoon? Aqui está o que os vencedores do concurso #crypto-api recomendam

As camadas invisíveis: por que as entrevistas com usuários são um ativo insubstituível

Crescimento de Criptomoedas: Criando Personas de Usuários Eficazes

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps