Не все детекторы Deepfake одинаковы

В последние несколько лет количество дипфейков растет, а многочисленные инструменты подмены лиц набирают популярность среди мошенников и даже организованных преступных группировок. Согласно отчету Европола « «Дипфейки могут быть использованы даже в более серьезных преступлениях, таких как мошенничество генерального директора, фальсификация доказательств и производство порнографии без согласия. Столкнуться с реальностью? Правоохранительные органы и проблема дипфейков Однако, как и во всем, что связано с ИИ, здесь всегда идет гонка вооружений между мошенниками и современными детекторами дипфейков. В преддверии Международной недели осведомленности о мошенничестве мы хотели провести проверку возможностей и достижений детекторов дипфейков за последние несколько лет. Проверка реальности необходима только из-за того, насколько огромной остается проблема мошенничества с дипфейками. В нашем внутреннем исследовании мы проанализировали эффективность современных детекторов дипфейков с открытым исходным кодом, опубликованных с 2020 года. Вот наше фундаментальное наблюдение: когда дело доходит до различения настоящего контента от поддельного, компьютеры уже давно превзошли людей. Этот вывод подчеркивает необходимость использования возможностей передовых алгоритмов и методов. Почти во всех ведущих работах в этой области распознавание лиц является фундаментальным элементом алгоритмов. Обнаружение лиц — это почти решение, характеризующееся высокой точностью — не идеальной, но близкой к этому. Когда лицо занимает видное место на изображении и смотрит вперед, современные модели обнаружения обеспечивают быструю и надежную идентификацию. И хотя существует несколько способов создания дипфейковых изображений, один из них является одновременно популярным и надежным: замена лица одним кадром. В этом методе используются два изображения, исходное и целевое, для переноса черт лица с первого на второе. В нынешних условиях это считается наиболее мощным подходом к созданию дипфейковых изображений и видео. Вы можете попробовать наш сами и проверьте это. Дипфейковая игра Исследования Отсутствие легкодоступного кода и весов в большинстве связанных работ подчеркивает общую проблему в области обнаружения дипфейков. Такая ситуация часто отдает приоритет бизнес-приложениям над научным распространением, что приводит к ограничению доступа к инструментам и ресурсам, которые необходимы академическим и исследовательским сообществам. Отсутствие открытого общего кода и весов моделей стало серьезным препятствием на пути более широкого развития методов обнаружения дипфейков. Существует множество подходов к обнаружению дипфейков, и с каждой конференцией появляются новые статьи. Некоторые из этих статей посвящены в первую очередь архитектуре модели для обнаружения дипфейков, черпая вдохновение из модели трансформатора и пытаясь адаптировать ее к решению этой задачи. Между тем, другие статьи посвящены методам обучения, особенно синтетическим наборам данных, наполненным поддельными изображениями. Эта область богата тестами, и в следующем разделе мы обсудим некоторые из наиболее мощных из них, уделив особое внимание тем, у которых есть открытый исходный код и доступные веса. FaceForensics++ Наиболее важной основой для всех современных методов обнаружения дипфейков является исследование, опубликованное в статье. . Основной вклад авторов — это обширный набор данных, содержащий более 1,8 миллиона изображений из 1000 видеороликов YouTube, разделенных на необработанные, высококачественные и низкокачественные варианты. FaceForensics++: учимся обнаруживать манипулированные изображения лиц Они использовали людей-наблюдателей, чтобы подтвердить эти различия. Модель классификации дипфейков, представленная в статье, представляет собой двоичную систему, основанную на магистральной сети XceptionNet с весами ImageNet, точно настроенными на их наборе данных. Используя простой механизм голосования, основанный на ответах модели, авторы добились значительного успеха в области обнаружения дипфейков, несмотря на простоту архитектуры модели. Обнаружение Deepfake с множественным вниманием Авторы подчеркивают общую проблему в предыдущих моделях обнаружения дипфейков, которые в первую очередь характеризуются тем, что они полагаются на простой подход двоичного классификатора. Базовый подход двоичного классификатора, который не учитывает тонкие различия между реальными и поддельными изображениями. Авторы здесь предлагают альтернативу, вдохновленную мелкозернистой классификацией, используя сеть мультивнимания с несколькими головками внимания для фокусировки на различных областях артефактов. Эта сеть сочетает в себе функции текстур низкого уровня и семантические функции высокого уровня для создания представлений изображений и особого механизма увеличения данных, управляемого вниманием, для обучения. Этот подход устраняет ограничения существующих моделей, что делает его многообещающим методом обнаружения дипфейков. Мультимодальные многомасштабные преобразователи для обнаружения дипфейков Авторы «М2ТР»: «Подчеркните важность сосредоточения внимания на определенных областях изображений, где может появиться фейковый контент. Мультимодальные многомасштабные преобразователи для обнаружения дипфейков Они представляют мультимодальный подход с многомасштабной структурой, используя частотный фильтр для обнаружения артефактов, которые могут быть не видны после сжатия. Кроме того, они используют блок Cross-Modality Fusion, вдохновленный собственным вниманием, для объединения RGB и частотных характеристик в единое представление, улучшая свой метод обнаружения дипфейков. Комплексное обучение реконструкции и классификации для обнаружения подделки лиц В " », авторы решают общую проблему в методах обнаружения дипфейков, которые фокусируются на конкретных шаблонах подделки и не могут охватывать все возможные манипуляции. Комплексное обучение реконструкции и классификации для обнаружения подделки лиц Они предлагают подход, основанный на двух компонентах: обучение реконструкции и обучение классификации: Обучение реконструкции расширяет представления для обнаружения неизвестных моделей подделки. Обучение классификации выявляет различия между реальными и поддельными изображениями. Авторы используют многомасштабный подход для улучшения этих представлений, используя специальную сеть реконструкции для моделирования реальных лиц и потери метрического обучения для улучшения обнаружения ранее неизвестных моделей подделки. Неявная утечка идентификационных данных: камень преткновения на пути к улучшению обобщения обнаружения дипфейков В работе, " », авторы обращаются к важной проблеме, связанной с обнаружением дипфейков. Они отмечают, что многие модели дипфейков основаны на методах подмены лиц, что может привести к уникальной проблеме. Неявная утечка идентификационных данных: камень преткновения на пути к улучшению обобщения обнаружения дипфейков Эти модели, как правило, запоминают распределение подлинных идентификаторов, а это означает, что поддельное изображение иногда может выглядеть как смесь двух разных идентификаторов. Однако эта проблема становится особенно сложной при попытке применить эти модели к новым, ранее неизвестным или перекрестным наборам данных. В этих случаях модель изо всех сил пытается расшифровать истинную сущность изображения, поскольку она не сталкивалась с ним раньше. Чтобы решить эту проблему, которую авторы называют «неявной утечкой идентификационных данных», они пытаются найти решения, которые улучшат обобщение моделей обнаружения дипфейков за пределами их обучающих наборов данных. Чтобы доказать это явление, авторы изначально взяли предварительно обученные классификаторы дипфейков и заморозили все слои, кроме последнего. Они заменили последний слой линейным слоем и настроили его для задачи классификации идентификаторов. Этот эксперимент показал, что один линейный уровень можно эффективно обучить для классификации идентификаторов с высокой точностью, демонстрируя потенциальную возможность утечки идентификационных данных. Затем авторы создали новый метод замены частей лица в разных масштабах, уделив основное внимание замене определенных областей лица. Затем они обучили многомасштабную модель обнаружения, используя изображения, полученные в результате этого процесса. Эта модель тщательно изучает карты объектов разного размера в разных слоях, чтобы обнаружить наличие областей артефактов, обеспечивая тщательное наблюдение за вероятными сигналами дипфейковых манипуляций. Обнаружение дипфейков с помощью самосмешивания изображений Последней заметной статьей в области обнаружения дипфейков является « В этом исследовании авторы применили новый подход, обучив собственную модель с использованием уникального набора данных. Обнаружение дипфейков с помощью самосмешивания изображений Этот набор данных состоит из изображений, созданных путем смешивания псевдоисходных и целевых изображений, полученных на основе отдельных первичных изображений. Этот процесс эффективно воспроизводит распространенные артефакты подделки, часто встречающиеся в дипфейках. Ключевая идея этого подхода заключается в том, что, используя более общие и менее легко распознаваемые поддельные образцы, классификаторы могут изучить более общие и надежные представления, не поддаваясь переоснащению артефактами, специфичными для манипуляций. Авторы выделяют четыре основных типа распространенных артефактов дипфейков: несовпадение ориентиров, граница смешивания, несоответствие цветов и несоответствие частоты. Затем они синтезируют эти артефакты, используя специализированную модель. Для архитектуры модели авторы взяли EfficientNet-b4, предварительно обученную на наборе данных ImageNet. Они настраивают эту модель на своем наборе данных Self-Blended Images (SBI), гарантируя, что модель станет способной обнаруживать дипфейки, обучаясь на этих смешанных изображениях с распространенными артефактами подделки. Наши эксперименты. Метрики и наборы данных Мы проанализировали производительность современных детекторов дипфейков, которые были опубликованы после 2020 года и чьи коды и веса моделей доступны для публичного и исследовательского использования. Мы рассчитали соответствующие показатели для каждой модели на одних и тех же общедоступных наборах данных, чтобы увидеть, как качества, раскрытые авторами, переносятся в аналогичный набор данных. Затем мы применили простые преобразования, которые часто используют мошенники для обхода проверки (например, подмена лица), и увидели, насколько эффективно работают детекторы дипфейков. Мы использовали и в качестве базовых наборов данных для реальных изображений. Оба широко используются в исследованиях и разработках. Изображения из этих двух наборов данных можно классифицировать как «доменные» изображения для большинства задач компьютерного зрения. Селеба-HQ ЛФВ Чтобы представить достоверные наборы данных поддельных изображений, мы использовали современный . Многие до сих пор считают его лучшим и самым популярным генератором дипфейков из одной фотографии. дипфейковая модель 2021 года под названием SimSwap Чтобы сгенерировать достаточное количество изображений, мы использовали случайные пары исходных и эталонных фотографий из набора данных для создания Fake-Celeba-HQ и Fake-LFW. Каждый набор данных содержит ровно 10 000 изображений. Для простоты в качестве основной метрики измерения качества моделей мы использовали точность 1 класса с порогом по умолчанию 0,5. Другими словами, для каждого набора данных мы рассчитали процент правильно угаданных меток. Кроме того, мы рассчитываем общую метрику ROC-AUC по объединенным реальным и поддельным наборам данных. Эксперимент 1: ЛФВ СелебаHQ Поддельный-LFW Fake-CelebaHQ Оценка AUC ВОО 0,82 0,57 0,82 0,96 0,84 CADDM 0,49 0,69 0,80 0,54 0,67 РЕЦСЕ 0,01 0,00 0,98 0,00 0,54 МАТ 0,00 0,74 1. 1. 0,75 ФФ++ 0,13 0,67 0,88 0,53 0,57 М2ТР 0,42 0,56 0,69 0,51 0,56 Таблица 1. 1-класс точности и AUC для реальных/поддельных наборов данных без изменений Как и ожидалось, у большинства моделей были проблемы с обнаружением дипфейков SimSwap. Лучшей моделью является SBI, набравшая 82% и 96% с многообещающим показателем AUC 0,84. Неожиданным является то, что существует множество способных моделей, у которых возникли трудности с классификацией изображений из реальных наборов данных как реальных: RECCE посчитала большинство реальных изображений подделками. MAT, FF и M2TR посчитали менее половины лиц с LFW дипфейками. Есть 3 модели, у которых показатель AUC близок к 0,5. Это поднимает вопросы о возможности переноса этих моделей в более реалистичную область и о том, как мошенники могут легко их обойти. Эксперимент 2: Чтобы проверить, как эти модели ведут себя в более реалистичной области, мы попробуем два разных метода, которые мошенники обычно используют при использовании дипфейков. Первое, что они делают, чтобы скрыть большую часть артефактов и неровностей, — это уменьшение масштаба. Поскольку в большинстве проверок живости и дипфейков нет требований к качеству видео, мошенники обычно сжимают дипфейк-видео. Чтобы смоделировать этот подход, мы будем использовать те же наборы данных, но сожмем каждое изображение до гораздо меньшего разрешения (128x128), используя билинейный алгоритм. В идеале детекторы дипфейков должны быть способны обнаруживать дипфейки, даже если разрешение изображений при выводе отличается от разрешения во время процесса обучения. ЛФВ СелебаHQ Поддельный-LFW Fake-CelebaHQ Оценка AUC ВОО 0,82 0,82 0,43 0,23 0,6 CADDM 0,55 0,46 0,62 0,65 0,6 РЕЦСЕ 0,83 0,89 0,13 0,08 0,54 МАТ с40 1. 1. 0. 0. 0,5 Рисунок 2. Лучшие показатели детекторов дипфейков на наборе данных низкого качества Здесь результаты более чем запутанные. Модели, достигавшие более или менее конкурентоспособных показателей, теперь имеют почти нулевую точность на поддельных наборах данных. Видно, что модель MAT просто засчитала всё как реальное изображение, а модель RECCE очень близка к такому же решению. Эксперимент 3: Второй метод мошенничества заключается в повышении масштаба изображения для ретуши фальсифицированных изображений, чтобы удалить все недостатки, которые могли бы «выдать» сфабрикованные изображения детекторам. Одним из многих таких примеров являются глаза: на большинстве дипфейковых изображений нет круглых зрачков или преломлений света. Итак, мошенник обычно использует какое-то конкретное программное обеспечение для украшения или «улучшения», подобное тем, которые используются в Instagram или TikTok, чтобы замаскировать все примеси. Чтобы смоделировать эффекты такого программного обеспечения, мы использовали его тесно связанное . Это усилитель, который использует GAN для масштабирования лица и его улучшения. аналог с открытым исходным кодом: GPEN ЛФВ СелебаHQ Поддельный-LFW Fake-CelebaHQ Оценка AUC ВОО 0,76 0,63 0,38 0,58 0,62 CADDM 0,52 0,71 0,59 0,38 0,57 РЕЦСЕ 0,18 0. 0,8 1. 0,52 МАТ с40 0,99 1. 0. 0. 0,5 Рисунок 3. Лучшие показатели детекторов дипфейков на расширенном наборе данных Здесь можно увидеть ту же тенденцию, что и в Эксперименте 2. Модель MAT считала все реальным, а RECCE считала все поддельным. Производительность SBI и CADDM лучше, чем рандом, но они пропустили более половины дипфейков в наборах данных Fake-LFW и Fake-CELEBA-HQ. Заключение Результаты этого исследования мрачны, поскольку не существует детекторов дипфейков с открытым исходным кодом, которые были бы на 100% безопасными, в то время как ожидается, что мошенничество с дипфейками будет развиваться и дальше, поскольку их создание становится все проще и дешевле. Согласно внутренней статистике Sumsub, распространенность дипфейкового мошенничества значительно выросла с 2022 по первый квартал 2023 года: С 2022 по первый квартал 2023 года доля дипфейков среди всех видов мошенничества выросла на 4500% в Канаде, на 1200% в США, на 407% в Германии и на 392% в Великобритании. В первом квартале 2023 года больше всего дипфейков поступило из Великобритании и Испании (11,8% и 11,2% глобального мошенничества с дипфейками соответственно), за ними следовали Германия (6,7%) и Нидерланды (4,7%). США заняли 5-е место, на их долю пришлось 4,3% мировых случаев мошенничества с дипфейками. Наши эксперименты показывают, что еще многое предстоит сделать в отношении обнаружения дипфейков. Даже лучшие модели обнаружения дипфейков с открытым исходным кодом не готовы к работе в реальном мире и не могут бороться с мошенниками. Существует большое количество статей о детекторах дипфейков, но в большинстве из них нет данных о весах кода или модели. Поэтому одной из проблем здесь является отсутствие открытости, что создает барьер для совершенствования методов обнаружения дипфейков. Поэтому мы в Sumsub: Постоянно боремся с дипфейками и совершенствуем наши . собственная технология обнаружения дипфейков Предложите наш собственный набор из четырех различных моделей машинного обучения для обнаружения дипфейков и синтетического мошенничества под названием . Он доступен каждому для бесплатной загрузки и использования, и Sumsub ищет отзывы от сообщества исследователей искусственного интеллекта для дальнейшего улучшения возможностей моделей. Ради фейка Тем не менее, основная ответственность за онлайн-защиту изображений пользователей Интернета лежит на самих пользователях. Не забывайте проявлять осторожность при публикации личных фотографий в Интернете. Лучше используйте стильные аватарки, как это сделали наши авторы. И вы можете найти другие полезные советы о том, как избежать злоупотреблений дипфейками. , здесь Написано Максимом Артемьевым, ведущим инженером по компьютерному зрению, и Славой Пироговым, инженером по компьютерному зрению, в Sumsub