Этот документ доступен на arxiv под лицензией CC BY-NC-SA 4.0 DEED.   Авторы:  (1) Шаньшань Хан и Цифан Чжан, UCI;  (2) Вэньсюань Ву, Техасский университет A&M;  (3) Батуралп Буюкатес, Юхан Яо и Вэйчжао Цзинь, Университет Южной Калифорнии;  (4) Салман Авестимер, USC и FedML.  Таблица ссылок   Аннотация и введение   Постановка задачи   Предлагаемое двухэтапное обнаружение аномалий   Поддающееся проверке обнаружение аномалий с использованием ZKP   Оценки   Сопутствующие работы   Заключение и ссылки  АБСТРАКТНЫЙ  Системы федеративного обучения (FL) уязвимы для злонамеренных клиентов, которые отправляют отравленные локальные модели для достижения своих враждебных целей, таких как предотвращение конвергенции глобальной модели или побуждение глобальной модели к неправильной классификации некоторых данных. Многие существующие механизмы защиты непрактичны в реальных системах FL, поскольку они требуют предварительного знания количества злонамеренных клиентов или полагаются на повторное взвешивание или изменение представленных данных. Это связано с тем, что злоумышленники обычно не объявляют о своих намерениях перед атакой, а повторное взвешивание может изменить результаты агрегирования даже в отсутствие атак. Для решения этих проблем в реальных системах FL в данной статье представлен передовой подход к обнаружению аномалий со следующими функциями: i) Обнаружение возникновения атак и выполнение защитных операций только тогда, когда атаки происходят; ii) при возникновении атаки дальнейшее обнаружение вредоносных клиентских моделей и их устранение без ущерба для безопасных; iii) Обеспечение честного выполнения защитных механизмов на сервере за счет использования механизма доказательства с нулевым разглашением. Мы подтверждаем превосходную эффективность предлагаемого подхода с помощью обширных экспериментов.  1. ВВЕДЕНИЕ  Федеративное обучение (FL) (McMahan et al., 2017a) позволяет клиентам совместно обучать модели машинного обучения, не передавая свои локальные данные другим сторонам, сохраняя конфиденциальность и безопасность своих локальных данных. Благодаря своей природе сохранения конфиденциальности FL привлек значительное внимание в различных областях и использовался во многих областях (Hard et al., 2018; Chen et al., 2019; Ramaswamy et al., 2019; Leroy et al., 2019; Берд и Полихрониаду, 2020; Чоудхури и др., 2022). Однако, хотя FL не требует обмена необработанными данными с другими, его децентрализованный и коллективный характер непреднамеренно создает уязвимости конфиденциальности и безопасности (Cao & Gong, 2022; Bhagoji et al., 2019; Lam et al., 2021; Jin et al. , 2021; Tomsett et al., 2019; Chen et al., 2017; Tolpegin et al., 2020; Kariyappa et al., 2022; Zhang et al., 2022c). Вредоносные клиенты в системах FL могут нанести вред обучению, предоставляя ложные модели, чтобы помешать сходимости глобальной модели (Fang et al., 2020; Chen et al., 2017), или внедряя бэкдоры, чтобы заставить глобальную модель работать неправильно для определенных выборок (Fang et al., 2020; Chen et al., 2017). Багдасарян и др., 2020б;а; Ван и др., 2020).  Существующая литература по надежному обучению и смягчению состязательного поведения включает Blanchard et al. (2017); Ян и др. (2019); Фунг и др. (2020); Пиллутла и др. (2022 г.); Он и др. (2022 г.); Цао и др. (2022 г.); Кариредди и др. (2020); Сан и др. (2019); Фу и др. (2019); Оздайи и др. (2021 г.); Сан и др. (2021) и т. д. Эти подходы имеют недостатки, что делает их менее подходящими для реальных систем ВЛ. Некоторые из этих стратегий требуют предварительного знания количества злонамеренных клиентов в системе FL (Blanchard et al., 2017), хотя на практике злоумышленник не уведомляет систему перед атакой. Кроме того, некоторые из этих методов смягчают воздействие потенциально вредоносных сообщений клиентов за счет повторного взвешивания локальных моделей (Fung et al., 2020), сохраняя только несколько локальных моделей, которые с наибольшей вероятностью будут безопасными, и удаляя другие (Blanchard et al., 2017) или модификацию функции агрегации (Pillutla et al., 2022). Эти методы могут непреднамеренно изменить результаты агрегирования при отсутствии преднамеренных атак, учитывая, что атаки происходят нечасто.   в реальных сценариях. Хотя защитные механизмы могут смягчить воздействие потенциальных атак, они могут непреднамеренно поставить под угрозу качество результатов при применении к доброкачественным случаям.  Более того, существующие механизмы защиты развертываются на сервере FL без каких-либо процедур проверки для обеспечения их корректной работы. Хотя большинство клиентов добродушны и желают совместно обучать модели машинного обучения, они также могут скептически относиться к надежности сервера из-за выполнения защитных механизмов, которые изменяют исходную процедуру агрегации. Таким образом, успешный подход к обнаружению аномалий должен одновременно удовлетворять следующему: i) Он должен иметь возможность обнаруживать возникновение атак и исключительно обрабатывать случаи, когда атаки происходят. ii) Если атака обнаружена, стратегия должна дополнительно обнаружить вредоносные клиентские материалы и, соответственно, смягчить (или устранить) их состязательное воздействие, не нанося вреда безвредным клиентским моделям. iii) Должен существовать надежный механизм подтверждения честного исполнения защитных механизмов.  В этой работе мы предлагаем новый механизм обнаружения аномалий, специально предназначенный для решения реальных проблем, с которыми сталкиваются реальные системы FL. Наш подход основан на двухэтапной схеме на сервере для фильтрации вредоносных сообщений клиентов перед агрегированием. Он начинается с перекрестной проверки на основе некоего кэша, называемого «эталонными моделями», чтобы определить, произошли ли какие-либо атаки. В случае атак выполняется последующее межклиентское обнаружение для устранения моделей вредоносных клиентов без ущерба для безопасных моделей клиентов. Тем временем эталонные модели в кеше обновляются. Обзор представлен на рисунке 1. Наш вклад резюмируется следующим образом:    Наша стратегия оснащена начальной перекрестной проверкой для обнаружения возникновения потенциальных атак, гарантируя, что защитные методы активируются только в ответ на наличие атак, тем самым сохраняя безопасность процесса в сценариях без атак.  ) Превентивное обнаружение атак. i    Сочетая перекрестную проверку с последующим обнаружением перекрестных клиентов, наш подход эффективно устраняет вредоносные сообщения клиентов, не нанося вреда безопасным локальным сообщениям.  ) Расширенное обнаружение аномалий. ii    Наш метод эффективно работает без каких-либо предпосылок, таких как распространение данных или количество вредоносных клиентов. Такая автономная природа обеспечивает широкую применимость и адаптируемость нашего подхода к различным задачам FL, независимо от распределения данных и выбора моделей.  ) Автономия от предшествующих знаний. iii    Используя методологию доказательства с нулевым разглашением (ZKP) (Goldwasser et al., 1989), наш подход гарантирует, что устранение вредоносных клиентских моделей выполняется правильно, гарантируя, что клиенты могут доверять защитному механизму в системе FL.  ) Строгий протокол проверки. iv

Read My Stories

The publication about the quantity of something. The theory about why that quantity is what is. And research!

Quantification's blog

Этот звук создан на языке оригинала истории!

Слишком долго; Читать

Download free Tech Leaders Productivity Report!

Подход к обнаружению аномалий с нулевым разглашением для надежного федеративного обучения

About Author

КОММЕНТАРИИ

БИРКИ

ЭТА СТАТЬЯ БЫЛА ПРЕДСТАВЛЕНА В

Related Stories

Нажмите, чтобы заработать: Telegram может привлечь следующие 10 миллиардов пользователей криптовалюты до Соланы

Telegram: мост Крипто-острова на материк

Плавание по водам: разработка RAG-приложений промышленного уровня с использованием озер данных

Создание криптопродуктов, ориентированных на пользователя: важность отзывов клиентов

Нажмите, чтобы заработать: Telegram может привлечь следующие 10 миллиардов пользователей криптовалюты до Соланы

Telegram: мост Крипто-острова на материк

Плавание по водам: разработка RAG-приложений промышленного уровня с использованием озер данных

Создание криптопродуктов, ориентированных на пользователя: важность отзывов клиентов

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps