Nem todos os detectores Deepfake são criados iguais

Os deepfakes têm aumentado nos últimos anos, com múltiplas ferramentas de troca de rosto ganhando popularidade entre fraudadores e até mesmo grupos criminosos organizados.

De acordo com o relatório da Europol “ Enfrentando a realidade? Aplicação da lei e o desafio dos deepfakes ”, os deepfakes podem até ser usados em crimes mais graves, como fraude de CEO, adulteração de provas e produção de pornografia não consensual.

No entanto, como acontece com tudo relacionado à IA, há sempre uma corrida armamentista entre fraudadores e detectores modernos de deepfake. Saindo da Semana Internacional de Conscientização sobre Fraude, queríamos fornecer uma verificação da realidade sobre as capacidades e avanços dos detectores de deepfake nos últimos anos - uma verificação da realidade necessária apenas devido ao quão vasto é o problema da fraude deepfake.

Em nossa pesquisa interna, analisamos o desempenho de detectores deepfake modernos e de código aberto publicados desde 2020.

Aqui está nossa observação fundamental: quando se trata de distinguir entre conteúdo real e falso, os computadores há muito superam os humanos. Esta descoberta sublinha a necessidade de aproveitar o poder dos algoritmos e métodos de ponta.

Quase todos os principais trabalhos neste campo apresentam com destaque a detecção de rostos como um elemento fundamental de seus algoritmos. A detecção de rosto é uma solução próxima, caracterizada por alta precisão – não perfeita, mas próxima.

Quando um rosto está posicionado de forma proeminente em uma imagem e olha para frente, os modelos modernos de detecção se destacam na identificação rápida e confiável.

E embora existam várias maneiras de criar imagens deepfake, um método se destaca como popular e robusto: a troca de rosto em uma única ação. Esta técnica utiliza duas imagens, uma fonte e um alvo, para transferir características faciais da primeira para a segunda.

No cenário atual, é considerada a abordagem mais poderosa para a criação de imagens e vídeos deepfake.

Você pode experimentar o nosso Jogo deepfake você mesmo e confira.

Estudos

A falta de código e pesos prontamente disponíveis na maioria dos trabalhos relacionados ressalta um desafio comum no campo da detecção de deepfakes.

Este cenário dá muitas vezes prioridade às aplicações empresariais em detrimento da divulgação científica, resultando num acesso limitado às ferramentas e recursos que são essenciais para as comunidades académicas e de investigação.

Essa falta de código e pesos de modelo compartilhados abertamente tem sido uma barreira significativa para o avanço mais amplo dos métodos de detecção de deepfake.

Existem inúmeras abordagens para a detecção de deepfakes e, a cada conferência, novos artigos aparecem.

Alguns desses artigos concentram-se principalmente na arquitetura do modelo para detecção de deepfake, inspirando-se consideravelmente no modelo do transformador e tentando adaptá-lo ao desafio.

Enquanto isso, outros artigos concentram-se em métodos de treinamento, particularmente em conjuntos de dados sintéticos cheios de imagens falsas. O campo é rico em benchmarks e, na seção a seguir, discutiremos alguns dos mais poderosos entre eles, enfatizando aqueles com código-fonte aberto e pesos disponíveis.

FaceForensics++

A linha de base mais proeminente para todos os métodos modernos de detecção de deepfakes é a pesquisa publicada no artigo FaceForensics++: Aprendendo a detectar imagens faciais manipuladas . A principal contribuição dos autores é um extenso conjunto de dados de mais de 1,8 milhão de imagens de 1.000 vídeos do YouTube, categorizados em opções brutas, de alta qualidade e de baixa qualidade.

Eles usaram observadores humanos para validar essas distinções. O modelo de classificação deepfake no artigo é um sistema binário baseado em um backbone XceptionNet com pesos ImageNet, ajustados em seu conjunto de dados.

Ao empregar um mecanismo de votação simples baseado nas respostas do modelo, os autores alcançaram um impacto significativo no campo da detecção de deepfakes, apesar da simplicidade arquitetônica do modelo.

Detecção de deepfake multiatenção

Os autores destacam um problema comum em modelos anteriores de detecção de deepfake, caracterizados principalmente por sua dependência de uma abordagem simples de classificador binário.

A abordagem básica do classificador binário que não leva em conta distinções sutis entre imagens reais e falsas. Os autores aqui propõem uma alternativa inspirada na classificação refinada, usando uma rede multi-atenção com múltiplas cabeças de atenção para focar em diferentes regiões de artefatos.

Esta rede combina recursos de textura de baixo nível e recursos semânticos de alto nível para criar representações de imagens e um mecanismo distinto de aumento de dados guiado pela atenção para treinamento.

Esta abordagem aborda as limitações dos modelos existentes, tornando-a um método promissor para detecção de deepfakes.

Transformadores multimodais e multiescala para detecção de Deepfake

Os autores de "M2TR: Transformadores multimodais e multiescala para detecção de Deepfake " enfatizam a importância de focar em regiões específicas das imagens onde conteúdo falso pode aparecer.

Eles introduzem uma abordagem multimodal com uma estrutura multiescala, usando um filtro de frequência para detectar artefatos que podem não ser visíveis após a compressão.

Eles ainda empregam um bloco de fusão entre modalidades inspirado na autoatenção para mesclar recursos RGB e de frequência em uma representação unificada, aprimorando seu método de detecção de deepfake.

Aprendizado de classificação de reconstrução ponta a ponta para detecção de falsificação facial

Em " Aprendizado de classificação de reconstrução ponta a ponta para detecção de falsificação facial ”, os autores abordam um problema comum em métodos de detecção de deepfake que se concentram em padrões específicos de falsificação, que podem não abranger todas as manipulações possíveis.

Eles propõem uma abordagem baseada em dois componentes: aprendizagem de reconstrução e aprendizagem de classificação:

• O aprendizado de reconstrução aprimora as representações para detectar padrões de falsificação desconhecidos.

• A aprendizagem de classificação identifica disparidades entre imagens reais e falsas.

  
  

Os autores empregam uma abordagem multiescala para melhorar essas representações, usando uma rede de reconstrução dedicada para modelar faces reais e uma perda de aprendizagem métrica para melhorar a detecção de padrões de falsificação anteriormente desconhecidos.

Vazamento implícito de identidade: o obstáculo para melhorar a generalização da detecção de deepfake

No trabalho, " Vazamento implícito de identidade: o obstáculo para melhorar a generalização da detecção de deepfake ”, os autores abordam uma questão significativa relativa à detecção de deepfake. Eles apontam que muitos modelos de deepfake são baseados em técnicas de troca de rosto, o que pode levar a um desafio único.

Esses modelos tendem a lembrar as distribuições de IDs genuínos, o que significa que uma imagem falsa às vezes pode aparecer como uma mistura de dois IDs diferentes. No entanto, este problema torna-se especialmente desafiador quando se tenta aplicar estes modelos a conjuntos de dados novos, não vistos ou cruzados. Nestes casos, o modelo luta para decifrar a verdadeira identidade da imagem porque não a encontrou antes.

Para resolver este problema, que os autores chamam de “vazamento implícito de identidade”, eles se esforçam para encontrar soluções que melhorem a generalização de modelos de detecção de deepfake além dos limites de seus conjuntos de dados de treinamento.

Para fornecer evidências desse fenômeno, os autores inicialmente pegaram classificadores deepfake pré-treinados e congelaram todas as camadas, exceto a última. Eles substituíram a última camada por uma camada linear e a ajustaram para uma tarefa de classificação de ID.

Este experimento mostrou que uma única camada linear poderia ser efetivamente treinada para classificar IDs com alta precisão, demonstrando o potencial de vazamento de identidade. Em seguida, os autores criaram um novo método para trocar partes do rosto em diferentes escalas, com foco principal na troca de regiões faciais específicas.

Eles então treinaram um modelo de detecção em múltiplas escalas utilizando imagens geradas a partir desse processo. Este modelo examina mapas de recursos de diferentes tamanhos em diversas camadas para detectar a existência de áreas de artefatos, proporcionando uma observação completa dos prováveis sinais de manipulação de deepfake.

Detectando Deepfakes com imagens autocombinadas

O último artigo notável no campo da detecção de deepfake é " Detectando Deepfakes com imagens autocombinadas ." Nesta pesquisa, os autores adotaram uma abordagem inovadora, treinando seu próprio modelo usando um conjunto de dados exclusivo.

Este conjunto de dados consiste em imagens geradas através da combinação de imagens pseudo-fonte e alvo derivadas de imagens originais individuais. Este processo replica efetivamente artefatos de falsificação comuns frequentemente encontrados em deepfakes.

O principal insight por trás dessa abordagem é que, ao usar amostras falsas mais gerais e menos facilmente reconhecíveis, os classificadores podem aprender representações mais genéricas e robustas sem sucumbir ao ajuste excessivo a artefatos específicos de manipulação.

Os autores identificam quatro tipos principais de artefatos deepfake comuns: incompatibilidade de pontos de referência, limites de mesclagem, incompatibilidade de cores e inconsistência de frequência. Eles então sintetizam esses artefatos usando um modelo especializado.

Para a arquitetura do modelo, os autores utilizaram o EfficientNet-b4, pré-treinado no conjunto de dados ImageNet. Eles ajustam esse modelo em seu conjunto de dados de imagens autocombinadas (SBI), garantindo que o modelo se torne adepto da detecção de deepfakes, aprendendo com essas imagens combinadas com artefatos de falsificação comuns.

Nossos experimentos. Métricas e conjuntos de dados

Analisamos o desempenho de detectores deepfake modernos e de última geração que foram publicados após 2020 e têm seus códigos e pesos de modelo disponíveis para uso público e de pesquisa.

Calculamos métricas relevantes para cada modelo nos mesmos conjuntos de dados públicos para ver como as qualidades divulgadas pelos autores são transferidas para um conjunto de dados semelhante. Em seguida, aplicamos transformações simples que são frequentemente usadas por fraudadores para contornar a verificação (como troca de rosto) e vimos a eficiência do desempenho dos detectores de deepfake.

Nós costumavamos Celeba-HQ e LFW como conjuntos de dados básicos para imagens reais verdadeiras. Ambos são amplamente utilizados em pesquisa e desenvolvimento. As imagens desses dois conjuntos de dados podem ser classificadas como imagens de “domínio” para a maioria das tarefas de visão computacional.

Para apresentar conjuntos de dados de imagens falsas verdadeiros, usamos um estado da arte modelo deepfake de 2021 chamado SimSwap . Ainda é considerado por muitos como o melhor e mais popular gerador de deepfake de foto única.

Para gerar uma quantidade suficiente de imagens, usamos pares aleatórios de fotos de origem e de referência do conjunto de dados para criar Fake-Celeba-HQ e Fake-LFW. Cada conjunto de dados contém exatamente 10.000 imagens.

Para simplificar, utilizamos como principal métrica para medir a qualidade dos modelos a precisão de 1 classe com limite padrão de 0,5. Em outras palavras, para cada conjunto de dados, calculamos a porcentagem de rótulos acertados. Além disso, calculamos uma métrica ROC-AUC total sobre conjuntos de dados reais e falsos combinados.

Experiência 1:

Tabela 1. Precisão de 1 classe e AUC para conjuntos de dados reais/falsos sem alterações

Como esperado, a maioria dos modelos teve alguns problemas na detecção de deepfakes SimSwap. O melhor modelo é o SBI, com pontuação de 82% e 96%, mostrando uma pontuação AUC promissora de 0,84.

O que é inesperado é que existem muitos modelos capazes que tiveram dificuldades em classificar imagens de conjuntos de dados reais como reais:

• RECCE classificou a maioria das imagens reais como falsas.

• MAT, FF e M2TR pontuaram menos da metade dos rostos do LFW como deepfakes.

  
  

Existem 3 modelos que apresentam uma pontuação AUC próxima de 0,5. Isto levanta questões sobre a transferibilidade destes modelos para um domínio mais realista e como podem ser facilmente contornados por fraudadores.

Experiência 2:

Para testar como esses modelos se comportam em um domínio mais realista, tentaremos duas técnicas diferentes que os fraudadores geralmente exploram ao usar deepfakes.

A primeira coisa que fazem para esconder a maioria dos artefatos e irregularidades é reduzir a escala. Como na maioria das verificações de liveness e deepfake não há requisitos quanto à qualidade do vídeo, os fraudadores geralmente compactam vídeos deepfaked.

Para simular esta abordagem, usaremos os mesmos conjuntos de dados, mas comprimiremos cada imagem para uma resolução muito menor (128x128) usando um algoritmo bilinear. Idealmente, os detectores de deepfake devem ser capazes de detectar deepfakes mesmo que a resolução das imagens na inferência seja diferente da resolução durante o processo de treinamento.

Figura 2: Melhores métricas dos detectores deepfake em um conjunto de dados de baixa qualidade

Aqui, os resultados são mais do que confusos. Os modelos que alcançavam desempenho mais ou menos competitivo agora têm precisão quase zero em conjuntos de dados falsos. Pode-se ver que o modelo MAT simplesmente classificou tudo como uma imagem real, e o modelo RECCE está muito próximo da mesma decisão.

Experiência 3:

A segunda prática de fraude é aumentar a escala da imagem para retocar imagens deepfaked para remover todas as imperfeições que poderiam “entregar” imagens fabricadas aos detectores. Um dos muitos exemplos são os olhos: não há pupilas redondas ou refrações de luz na maioria das imagens deepfaked.

Assim, um fraudador geralmente usa algum software específico de embelezamento ou “aprimoramento” semelhante aos usados no Instagram ou TikTok para mascarar todas as impurezas.

Para simular os efeitos de tal software, usamos seus softwares intimamente relacionados analógico de código aberto: GPEN . Este é um intensificador que usa GANs para aprimorar e aprimorar o rosto.

Figura 3: Melhores métricas dos detectores deepfake em um conjunto de dados aprimorado

Aqui, pode-se ver a mesma tendência do Experimento 2. O modelo MAT classificou tudo como real e o RECCE classificou tudo como falso. O desempenho do SBI e do CADDM é melhor que o aleatório, mas eles perderam mais da metade dos deepfakes nos conjuntos de dados Fake-LFW e Fake-CELEBA-HQ.

Conclusão

O resultado desta investigação é sombrio, uma vez que não existem detectores de deepfake de código aberto que sejam 100% seguros, enquanto se espera que a fraude de deepfake se desenvolva ainda mais, à medida que a sua geração se torna mais fácil e barata. De acordo com as estatísticas internas da Sumsub, a prevalência de fraudes deepfake cresceu consideravelmente de 2022 até o primeiro trimestre de 2023:

• De 2022 ao primeiro trimestre de 2023, a proporção de deepfakes entre todos os tipos de fraude aumentou 4.500% no Canadá, 1.200% nos EUA, 407% na Alemanha e 392% no Reino Unido.

• No primeiro trimestre de 2023, o maior número de deepfakes veio da Grã-Bretanha e da Espanha, com 11,8% e 11,2% das fraudes globais de deepfakes, respectivamente, seguidas pela Alemanha (6,7%) e pela Holanda (4,7%). Os EUA ficaram em 5º lugar, representando 4,3% dos casos globais de fraude deepfake.

Nossos experimentos mostram que ainda há muito a ser feito em relação à detecção de deepfakes. Mesmo os melhores modelos de detecção de deepfake de código aberto não estão preparados para o mundo real e não podem combater os fraudadores.

Há um grande número de artigos sobre detectores deepfake, mas a maioria deles não possui códigos ou pesos de modelo disponíveis.

Por isso, um dos problemas aqui é a falta de abertura, que cria uma barreira para o aprimoramento dos métodos de detecção de deepfakes.

Portanto, nós da Sumsub:

• Estamos continuamente combatendo deepfakes e melhorando nosso tecnologia interna de detecção de deepfake .

• Ofereça nosso conjunto interno de quatro modelos distintos baseados em aprendizado de máquina para detecção de fraudes falsas e sintéticas, chamados Pelo bem da falsificação . Ele está disponível para download e uso gratuitos para todos, e a Sumsub busca feedback da comunidade de pesquisa de IA para melhorar ainda mais as capacidades dos modelos.

Ainda assim, a principal responsabilidade pela protecção online das imagens dos utilizadores da Internet cabe aos próprios utilizadores. Lembre-se de ter cuidado ao compartilhar fotos pessoais online. É melhor usar avatares elegantes, assim como nossos autores fizeram.

E aqui , você pode encontrar outras dicas úteis sobre como evitar abusos de deepfake.

Escrito por Maksim Artemev, engenheiro-chefe de visão computacional, e Slava Pirogov, engenheiro de visão computacional, na Sumsub