No todos los detectores de deepfake son iguales

Los deepfakes han ido en aumento en los últimos años, con múltiples herramientas de intercambio de rostros ganando popularidad entre los estafadores e incluso los grupos delictivos organizados.

Según el informe de Europol “ ¿Enfrentando la realidad? La aplicación de la ley y el desafío de los deepfakes ”, los deepfakes podrían incluso utilizarse en delitos más graves, como el fraude de directores ejecutivos, la manipulación de pruebas y la producción de pornografía no consentida.

Sin embargo, como ocurre con todo lo relacionado con la IA, siempre hay una carrera armamentista entre los estafadores y los modernos detectores de deepfake. Como resultado de la Semana Internacional de Concientización sobre el Fraude, queríamos brindar una verificación de la realidad de las capacidades y avances de los detectores de deepfake en los últimos años; una verificación de la realidad necesaria solo debido a lo vasto que sigue siendo el problema del fraude de deepfake.

En nuestra investigación interna, analizamos el rendimiento de los modernos detectores de deepfake de código abierto y de última generación publicados desde 2020.

Aquí está nuestra observación fundamental: cuando se trata de distinguir entre contenido real y falso, las computadoras llevan mucho tiempo superando a los humanos. Este hallazgo subraya la necesidad de aprovechar el poder de los algoritmos y métodos de vanguardia.

Casi todos los trabajos líderes en este campo destacan la detección de rostros como elemento fundamental de sus algoritmos. La detección de rostros es una solución cercana, caracterizada por una alta precisión; no perfecta, pero sí cercana.

Cuando una cara ocupa un lugar destacado en una imagen y mira hacia adelante, los modelos de detección modernos destacan por su identificación rápida y fiable.

Y si bien hay varias formas de crear imágenes deepfake, un método se destaca por ser popular y sólido: el intercambio de caras de una sola vez. Esta técnica utiliza dos imágenes, una fuente y un destino, para transferir rasgos faciales de la primera al segundo.

En el panorama actual, se considera el enfoque más poderoso para crear imágenes y videos deepfake.

Puedes probar nuestro juego falso usted mismo y compruébelo.

Estudios

La falta de códigos y pesos fácilmente disponibles en la mayoría de los trabajos relacionados subraya un desafío común en el campo de la detección de deepfake.

Este panorama a menudo prioriza las aplicaciones comerciales sobre la divulgación científica, lo que resulta en un acceso limitado a las herramientas y recursos que son esenciales para las comunidades académicas y de investigación.

Esta falta de códigos y pesos de modelos compartidos abiertamente ha sido una barrera importante para el avance más amplio de los métodos de detección de deepfake.

Existen numerosos enfoques para la detección de deepfakes y con cada conferencia aparecen nuevos artículos.

Algunos de estos artículos se centran principalmente en la arquitectura del modelo para la detección de deepfake, inspirándose en gran medida en el modelo de transformador e intentando adaptarlo al desafío.

Mientras tanto, otros artículos se centran en métodos de entrenamiento, particularmente en conjuntos de datos sintéticos llenos de imágenes falsas. El campo es rico en puntos de referencia y, en la siguiente sección, discutiremos algunos de los más poderosos, enfatizando aquellos con código de fuente abierta y pesos disponibles.

CaraForense++

La base más destacada para todos los métodos modernos de detección de deepfakes es la investigación publicada en el artículo. FaceForensics++: aprender a detectar imágenes faciales manipuladas . La principal contribución de los autores es un extenso conjunto de datos de más de 1,8 millones de imágenes de 1.000 vídeos de YouTube, categorizados en opciones sin procesar, de alta calidad y de baja calidad.

Utilizaron observadores humanos para validar estas distinciones. El modelo de clasificación deepfake del artículo es un sistema binario basado en una columna vertebral de XceptionNet con pesos de ImageNet, ajustados en su conjunto de datos.

Al emplear un mecanismo de votación simple basado en las respuestas del modelo, los autores lograron un impacto significativo en el campo de la detección de deepfake a pesar de la simplicidad arquitectónica del modelo.

Detección de Deepfake de atención múltiple

Los autores destacan un problema común en los modelos anteriores de detección de deepfake, que se caracterizan principalmente por su dependencia de un enfoque de clasificador binario simple.

El enfoque básico del clasificador binario que no tiene en cuenta distinciones sutiles entre imágenes reales y falsas. Aquí los autores proponen una alternativa inspirada en la clasificación detallada, utilizando una red de atención múltiple con múltiples cabezas de atención para centrarse en diferentes regiones de artefactos.

Esta red combina características de textura de bajo nivel y características semánticas de alto nivel para crear representaciones de imágenes y un mecanismo distintivo de aumento de datos guiado por la atención para el entrenamiento.

Este enfoque aborda las limitaciones de los modelos existentes, lo que lo convierte en un método prometedor para la detección de deepfakes.

Transformadores multimodales y multiescala para la detección de deepfake

Los autores de "M2TR: Transformadores multimodales y multiescala para la detección de deepfake " enfatizan la importancia de centrarse en regiones específicas de las imágenes donde puede aparecer contenido falso.

Introducen un enfoque multimodal con una estructura de múltiples escalas, utilizando un filtro de frecuencia para detectar artefactos que pueden no ser visibles después de la compresión.

Además, emplean un bloque Cross-Modality Fusion inspirado en la autoatención para fusionar RGB y características de frecuencia en una representación unificada, mejorando su método de detección de deepfake.

Aprendizaje de clasificación y reconstrucción de extremo a extremo para la detección de falsificaciones faciales

En " Aprendizaje de clasificación y reconstrucción de extremo a extremo para la detección de falsificaciones faciales ", los autores abordan un problema común en los métodos de detección de deepfake que se centran en patrones de falsificación específicos, que pueden no abarcar todas las manipulaciones posibles.

Proponen un enfoque basado en dos componentes: aprendizaje de reconstrucción y aprendizaje de clasificación:

• El aprendizaje de reconstrucción mejora las representaciones para detectar patrones de falsificación desconocidos.

• El aprendizaje de clasificación identifica disparidades entre imágenes reales y falsas.

  
  

Los autores emplean un enfoque de múltiples escalas para mejorar estas representaciones, utilizando una red de reconstrucción dedicada para modelar rostros reales y una pérdida de aprendizaje métrico para mejorar la detección de patrones de falsificación previamente desconocidos.

Fuga de identidad implícita: el obstáculo para mejorar la generalización de la detección de deepfake

En el trabajo, " Fuga de identidad implícita: el obstáculo para mejorar la generalización de la detección de deepfake ", los autores abordan un tema importante relacionado con la detección de deepfakes. Señalan que muchos modelos de deepfakes se basan en técnicas de intercambio de rostros, lo que puede generar un desafío único.

Estos modelos tienden a recordar las distribuciones de identificaciones genuinas, lo que significa que a veces una imagen falsa puede aparecer como una combinación de dos identificaciones diferentes. Sin embargo, este problema se vuelve especialmente desafiante cuando se intenta aplicar estos modelos a conjuntos de datos nuevos, invisibles o cruzados. En estos casos, el modelo lucha por descifrar la verdadera identidad de la imagen porque no la ha encontrado antes.

Para abordar este problema, al que los autores denominan "fuga de identidad implícita", se esfuerzan por encontrar soluciones que mejoren la generalización de los modelos de detección de deepfake más allá de los límites de sus conjuntos de datos de entrenamiento.

Para proporcionar evidencia de este fenómeno, los autores inicialmente tomaron clasificadores deepfake previamente entrenados y congelaron todas las capas excepto la última. Reemplazaron la última capa con una capa lineal y la ajustaron para una tarea de clasificación de identificación.

Este experimento demostró que se podía entrenar eficazmente una sola capa lineal para clasificar identificaciones con alta precisión, lo que demuestra el potencial de fuga de identidad. Luego, los autores crearon un nuevo método para intercambiar partes de la cara en diferentes escalas, con un enfoque principal en intercambiar regiones faciales específicas.

Luego entrenaron un modelo de detección de múltiples escalas utilizando imágenes generadas a partir de este proceso. Este modelo examina mapas de características de diferentes tamaños en diversas capas para detectar la existencia de áreas de artefactos, brindando una observación exhaustiva de las posibles señales de manipulación deepfake.

Detección de deepfakes con imágenes autocombinadas

El último artículo notable en el campo de la detección de deepfake es " Detección de deepfakes con imágenes autocombinadas ." En esta investigación, los autores han adoptado un enfoque novedoso al entrenar su propio modelo utilizando un conjunto de datos único.

Este conjunto de datos consta de imágenes generadas mediante la combinación de pseudoimágenes de origen y de destino derivadas de imágenes prístinas individuales. Este proceso replica de manera efectiva los artefactos de falsificación comunes que a menudo se encuentran en los deepfakes.

La idea clave detrás de este enfoque es que al utilizar muestras falsas más generales y menos fácilmente reconocibles, los clasificadores pueden aprender representaciones más genéricas y sólidas sin sucumbir al sobreajuste de artefactos específicos de manipulación.

Los autores identifican cuatro tipos principales de artefactos deepfake comunes: falta de coincidencia de puntos de referencia, límites de fusión, falta de coincidencia de colores e inconsistencia de frecuencia. Luego sintetizan estos artefactos utilizando un modelo especializado.

Para la arquitectura del modelo, los autores utilizaron EfficientNet-b4, previamente entrenado en el conjunto de datos ImageNet. Ajustan este modelo en su conjunto de datos de Imágenes Autocombinadas (SBI), asegurando que el modelo se vuelva experto en detectar deepfakes aprendiendo de estas imágenes combinadas con artefactos de falsificación comunes.

Nuestros experimentos. Métricas y conjuntos de datos

Hemos analizado el rendimiento de los modernos detectores de deepfake de última generación que se publicaron después de 2020 y que tienen su código y pesos de modelo disponibles para uso público y de investigación.

Hemos calculado métricas relevantes para cada modelo en los mismos conjuntos de datos públicos para ver cómo las cualidades reveladas por los autores se transfieren a un conjunto de datos similar. Luego aplicamos transformaciones simples que los estafadores utilizan con frecuencia para eludir la verificación (como el intercambio de rostros) y vimos cuán eficientemente funcionan los detectores de deepfake.

Nosotros usamos Celeba-HQ y LFW como conjuntos de datos base para imágenes reales reales. Ambos se utilizan ampliamente en investigación y desarrollo. Las imágenes de estos dos conjuntos de datos podrían clasificarse como imágenes de "dominio" para la mayoría de las tareas de visión por computadora.

Para presentar conjuntos de datos de imágenes falsas reales, utilizamos una tecnología de última generación. modelo deepfake de 2021 llamado SimSwap . Todavía es considerado por muchos como el mejor y más popular generador de deepfake de una sola foto.

Para generar una cantidad suficiente de imágenes, utilizamos pares aleatorios de fotografías de origen y de referencia del conjunto de datos para crear Fake-Celeba-HQ y Fake-LFW. Cada conjunto de datos tiene exactamente 10.000 imágenes.

Para simplificar, la métrica principal para medir la calidad de los modelos utilizamos precisión de 1 clase con un umbral predeterminado de 0,5. En otras palabras, para cada conjunto de datos, calculamos el porcentaje de etiquetas acertadas. Además, calculamos una métrica ROC-AUC total sobre conjuntos de datos combinados reales y falsos.

Experimento 1:

Tabla 1. Precisión de 1 clase y AUC para conjuntos de datos reales/falsos sin cambios

Como era de esperar, la mayoría de los modelos tuvieron algunos problemas para detectar los deepfakes de SimSwap. El mejor modelo es SBI, con una puntuación del 82% y del 96%, que muestra una puntuación AUC prometedora de 0,84.

Lo inesperado es que hay muchos modelos capaces que tuvieron dificultades para clasificar imágenes de conjuntos de datos reales como reales:

• RECCE calificó la mayoría de las imágenes reales como falsas.

• MAT, FF y M2TR calificaron menos de la mitad de las caras de LFW como deepfakes.

  
  

Hay 3 modelos que tienen una puntuación AUC cercana a 0,5. Esto plantea dudas sobre la transferibilidad de estos modelos a un ámbito más realista y cómo los estafadores pueden eludirlos fácilmente.

Experimento 2:

Para probar cómo se comportan estos modelos en un dominio más realista, probaremos dos técnicas diferentes que los estafadores suelen aprovechar cuando utilizan deepfakes.

Lo primero que hacen para ocultar la mayoría de los artefactos e irregularidades es reducir la escala. Dado que en la mayoría de las comprobaciones de vida y deepfake no existen requisitos sobre la calidad del vídeo, los estafadores suelen comprimir los vídeos deepfake.

Para simular este enfoque, usaremos los mismos conjuntos de datos, pero comprimiremos cada imagen a una resolución mucho menor (128x128) usando un algoritmo bilineal. Idealmente, los detectores de deepfakes deberían poder detectarlos incluso si la resolución de las imágenes en la inferencia difiere de la resolución durante el proceso de entrenamiento.

Figura 2: Lo mejor de las métricas de los detectores de deepfake en un conjunto de datos de baja calidad

Aquí los resultados son más que confusos. Los modelos que lograban un rendimiento más o menos competitivo ahora tienen una precisión cercana a cero en conjuntos de datos falsos. Se puede ver que el modelo MAT simplemente calificó todo como una imagen real, y el modelo RECCE está muy cerca de la misma decisión.

Experimento 3:

La segunda práctica de fraude es mejorar la imagen para retocar imágenes ultrafalsificadas y eliminar todas las imperfecciones que podrían "entregar" imágenes fabricadas a los detectores. Uno de muchos ejemplos son los ojos: no hay pupilas redondas ni refracciones de luz en la mayoría de las imágenes deepfake.

Por lo tanto, un estafador suele utilizar algún software específico de embellecimiento o “mejora” similar a los utilizados en Instagram o TikTok para enmascarar todas las impurezas.

Para simular los efectos de dicho software, utilizamos su estrechamente relacionado análogo de código abierto: GPEN . Este es un potenciador que utiliza GAN para mejorar el rostro y mejorarlo.

Figura 3: Lo mejor de las métricas de los detectores de deepfake en un conjunto de datos mejorado

Aquí se puede ver la misma tendencia que en el Experimento 2. El modelo MAT calificó todo como real y RECCE calificó todo como falso. El rendimiento de SBI y CADDM es mejor que el aleatorio, pero omitieron más de la mitad de los deepfakes en los conjuntos de datos Fake-LFW y Fake-CELEBA-HQ.

Conclusión

El resultado de esta investigación es sombrío, ya que no existen detectores de deepfakes de código abierto que sean 100% seguros, mientras que se espera que el fraude de deepfakes se desarrolle aún más, ya que su generación es cada vez más fácil y barata. Según las estadísticas internas de Sumsub, la prevalencia del fraude deepfake aumentó considerablemente desde 2022 hasta el primer trimestre de 2023:

• Desde 2022 hasta el primer trimestre de 2023, la proporción de deepfakes entre todos los tipos de fraude aumentó un 4500 % en Canadá, un 1200 % en EE. UU., un 407 % en Alemania y un 392 % en el Reino Unido.

• En el primer trimestre de 2023, la mayor cantidad de deepfakes provinieron de Gran Bretaña y España con el 11,8% y el 11,2% del fraude mundial de deepfakes respectivamente, seguidos de Alemania (6,7%) y los Países Bajos (4,7%). Estados Unidos ocupó el quinto lugar, representando el 4,3% de los casos globales de fraude deepfake.

Nuestros experimentos muestran que todavía queda mucho por hacer con respecto a la detección de deepfakes. Incluso los mejores modelos de detección de deepfake de código abierto no están preparados para el mundo real y no pueden combatir a los estafadores.

Hay una gran cantidad de artículos sobre detectores de deepfake, pero la mayoría de ellos no tienen pesos de código o modelo disponibles.

Por eso, uno de los problemas aquí es la falta de apertura, que crea una barrera para la mejora de los métodos de detección de deepfakes.

Por eso, en Sumsub:

• Estamos continuamente combatiendo los deepfakes y mejorando nuestra tecnología interna de detección de deepfakes .

• Ofrezca nuestro conjunto interno de cuatro modelos distintos basados en aprendizaje automático para la detección de fraude sintético y deepfake llamado Por el bien de la falsificación . Está disponible para que todos lo descarguen y utilicen de forma gratuita, y Sumsub busca comentarios de la comunidad de investigación de IA para mejorar aún más las capacidades de los modelos.

Aún así, la principal responsabilidad de la protección en línea de las imágenes de los usuarios de Internet recae en los propios usuarios. Recuerde tener cuidado al compartir fotografías personales en línea. Es mejor utilizar avatares elegantes, tal como lo hicieron nuestros autores.

Y aquí , Puede encontrar otros consejos útiles sobre cómo mantenerse alejado del abuso de deepfake.

Escrito por Maksim Artemev, ingeniero jefe de visión por computadora, y Slava Pirogov, ingeniero de visión por computadora, en Sumsub