本文可在 arxiv 上根据 CC BY-NC-SA 4.0 DEED 许可证获取。 作者：  (1) 韩珊珊和张起帆，UCI；  (2) 吴文轩，德克萨斯农工大学；  (3) Baturalp Buyukates、Yuhang Yao 和 Weizhao Jin，南加州大学；  (4) Salman Avestimehr，南加州大学和 FedML。 链接表 摘要与引言 问题设置 提议的两阶段异常检测 使用 ZKP 进行可验证的异常检测 评价 相关作品 结论与参考文献 抽象的 联邦学习（FL）系统很容易受到恶意客户端的攻击，这些客户端提交有毒的本地模型以实现其对抗性目标，例如阻止全局模型的收敛或诱导全局模型对某些数据进行错误分类。许多现有的防御机制在现实世界的 FL 系统中是不切实际的，因为它们需要事先了解恶意客户端的数量，或者依赖于重新加权或修改提交。这是因为对手通常不会在攻击前宣布其意图，即使没有攻击，重新加权也可能会改变聚合结果。为了解决实际 FL 系统中的这些挑战，本文介绍了一种前沿的异常检测方法，具有以下特点： i) 检测攻击的发生，仅在攻击发生时才执行防御操作； ii) 攻击发生后，在不损害良性客户端模型的情况下，进一步检测并消除恶意客户端模型； iii) 利用零知识证明机制确保服务器上防御机制的诚实执行。我们通过大量实验验证了所提出方法的优越性能。  1 简介 联邦学习 (FL)（McMahan 等人，2017a）使客户能够协作训练机器学习模型，而无需与其他方共享本地数据，从而维护本地数据的隐私和安全。由于其隐私保护特性，FL 引起了各个领域的广泛关注，并已在众多领域得到应用（Hard 等人，2018；Chen 等人，2019；Ramaswamy 等人，2019；Leroy 等人， 2019；Byrd 和 Polychroniadou，2020；Chowdhury 等人，2022）。然而，尽管 FL 不需要与他人共享原始数据，但其去中心化和协作性质无意中引入了隐私和安全漏洞（Cao & Kong，2022；Bhagoji 等人，2019；Lam 等人，2021；Jin 等人，2021）。 ，2021；Tomsett 等，2019；Chen 等，2017；Tolpegin 等，2020；Kariyappa 等，2022；Zhang 等，2022c）。 FL 系统中的恶意客户端可能会通过提交虚假模型来破坏全局模型的收敛来损害训练（Fang et al., 2020；Chen et al., 2017），或者植入后门以诱导全局模型对某些样本执行错误（ Bagdasaryan 等人，2020b；a；Wang 等人，2020）。 关于稳健学习和缓解对抗行为的现有文献包括 Blanchard 等人。 （2017）；杨等人。 （2019）；冯等人。 （2020）；皮卢特拉等人。 （2022）；他等人。 （2022）；曹等人。 （2022）；卡里米雷迪等人。 （2020）；孙等人。 （2019）；傅等人。 （2019）；奥兹达伊等人。 （2021）；孙等人。 (2021)等。这些方法存在缺点，使其不太适合真正的FL系统。其中一些策略需要事先了解 FL 系统内恶意客户端的数量（Blanchard 等人，2017），即使实际上对手在攻击之前不会通知系统。此外，其中一些方法通过重新加权本地模型来减轻潜在恶意客户端提交的影响（Fung 等人，2020），仅保留几个最有可能是良性的本地模型，同时删除其他模型（Blanchard 等人， 2017），或修改聚合函数（Pillutla 等人，2022）。考虑到攻击很少发生，这些方法有可能在没有故意攻击的情况下无意中改变聚合结果 在现实场景中。虽然防御机制可以减轻潜在攻击的影响，但当应用于良性案例时，它们可能会无意中损害结果质量。 而且，现有的防御机制部署在FL服务器上，没有任何验证程序来确保其正确执行。虽然大多数客户端是良性的并且希望协作训练机器学习模型，但由于执行修改原始聚合过程的防御机制，他们也可能对服务器的可靠性表示怀疑。因此，一个成功的异常检测方法应该同时满足以下条件： i）应该能够检测到攻击的发生，并在攻击发生时专门处理情况。 ii）如果检测到攻击，该策略必须进一步检测恶意客户端提交，并相应地减轻（或消除）其对抗性影响，而不损害良性客户端模型。 iii) 应有健全的机制来证实防御机制的诚实执行。 在这项工作中，我们提出了一种新颖的异常检测机制，专门用于解决现实世界 FL 系统面临的真正挑战。我们的方法遵循服务器上的两阶段方案，以在聚合之前过滤掉恶意客户端提交。它首先基于一些称为“参考模型”的缓存进行交叉检查，以确定是否发生了任何攻击。如果发生攻击，则执行后续的跨客户端检测，以消除恶意客户端模型，而不损害良性客户端模型。同时，缓存中的参考模型也被更新。我们在图 1 中提供了概述。我们的贡献总结如下：   我们的策略配备了初始交叉检查来检测潜在攻击的发生，确保防御方法仅针对攻击的存在而激活，从而在无攻击场景中保持过程的神圣性。  ) 主动攻击检测。 i   通过将跨轮检查与后续的跨客户端检测相结合，我们的方法有效地消除了恶意客户端提交，而不会损害良性本地提交。  ) 增强的异常检测。 ii   我们的方法可以有效运行，无需任何先决条件（例如数据分布或恶意客户端数量）。这种自主性确保了我们的方法在不同的 FL 任务中的广泛适用性和适应性，无论数据分布和模型选择如何。  ) 不受先验知识影响的自主性。 iii   结合零知识证明（ZKP）（Goldwasser 等，1989）方法，我们的方法保证了恶意客户端模型的消除正确执行，确保客户端可以信任 FL 系统中的防御机制。  ) 严格的验证协议。 iv

Read My Stories

The publication about the quantity of something. The theory about why that quantity is what is. And research!

Quantification's blog

該音頻是用故事的原始語言製作的！

用于鲁棒联邦学习的零知识异常检测方法

About Author

註釋

標籤

这篇文章刊登在

Related Stories

如何将您的工作流程提高 10 倍：17 个必备应用程序

数字游民请注意：您需要了解泰国新推出的 DTV 签证

点击赚钱：Telegram 可能会在 Solana 之前吸引下一个 100 亿加密用户

Claude Sonnet 3.5 系统提示泄漏：法医分析

如何将您的工作流程提高 10 倍：17 个必备应用程序

数字游民请注意：您需要了解泰国新推出的 DTV 签证

点击赚钱：Telegram 可能会在 Solana 之前吸引下一个 100 亿加密用户

Claude Sonnet 3.5 系统提示泄漏：法医分析

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps