Autores:  (1) Robert Honig, ETH Zurich (robert.hoenig@inf.ethz.ch);  (2) Javier Rando, ETH Zurich (javier.rando@inf.ethz.ch);  (3) Nicolás Carlini, Google DeepMind;  (4) Florian Tramer, ETH Zurich (florian.tramer@inf.ethz.ch).  Tabla de enlaces   Resumen y 1. Introducción   Antecedentes y trabajos relacionados   Modelo de amenaza   Mímica de estilo robusto   Configuración experimental   Resultados   6.1 Principales hallazgos: Todas las protecciones se eluden fácilmente   6.2 Análisis   Discusión e impacto más amplio, agradecimientos y referencias   A. Ejemplos de arte detallados   B. Generaciones de mimetismo robusto   C. Resultados detallados   D. Diferencias con el ajuste fino del esmalte   E. Hallazgos en el esmalte 2.0   F. Hallazgos en Mist v2   G. Métodos para la imitación de estilos   H. Protecciones de imitación de estilo existentes   I. Métodos de mimetismo robusto   J. Configuración experimental   K. Estudio de usuarios   L. Recursos informáticos  Abstracto  Los artistas están cada vez más preocupados por los avances en los modelos de generación de imágenes que puedan replicar fielmente sus estilos artísticos únicos. En respuesta, se han desarrollado varias herramientas de protección contra la imitación de estilos que incorporan pequeñas perturbaciones adversarias en las obras de arte publicadas en línea. En este trabajo, evaluamos la eficacia de las protecciones populares (con millones de descargas) y demostramos que solo brindan una falsa sensación de seguridad. Descubrimos que las técnicas de bajo esfuerzo y "listas para usar", como el aumento de escala de imágenes, son suficientes para crear métodos de imitación robustos que degradan significativamente las protecciones existentes. A través de un estudio de usuarios, demostramos que todas las protecciones existentes se pueden eludir fácilmente, lo que deja a los artistas vulnerables a la imitación de estilos. Advertimos que las herramientas basadas en perturbaciones adversarias no pueden proteger de manera confiable a los artistas del uso indebido de la IA generativa e instamos al desarrollo de soluciones de protección alternativas.  1 Introducción    es una aplicación popular de los modelos generativos de conversión de texto en imágenes. Dadas unas cuantas imágenes de un artista, se puede ajustar un modelo para generar nuevas imágenes en ese estilo (por ejemplo, una nave espacial al estilo de Van Gogh). Pero la imitación de estilo tiene el potencial de causar un daño significativo si se utiliza incorrectamente. En particular, a muchos artistas contemporáneos les preocupa que otros puedan producir imágenes que copien su estilo artístico único y potencialmente robarles clientes (Heikkila¨, 2022). Como respuesta, se han desarrollado varias protecciones para proteger a los artistas de la imitación de estilo (Shan et al., 2023a; Van Le et al., 2023; Liang et al., 2023). Estas protecciones agregan perturbaciones adversas a las imágenes que los artistas publican en línea, con el fin de inhibir el proceso de ajuste. Estas protecciones han recibido una atención significativa de los medios de comunicación (con artículos en el New York Times (Hill, 2023), CNN (Thorbecke, 2023) y Scientific American (Leffer, 2023)) y se han descargado más de un millón de veces (Shan et al., 2023a). La imitación de estilo  Sin embargo, no está claro hasta qué punto estas herramientas realmente protegen a los artistas contra la imitación de estilo, especialmente si alguien intenta activamente eludirlas (Radiya-Dixit et al., 2021). En este trabajo, demostramos que las herramientas de protección de estilo de última generación (Glaze [Shan et al., 2023a], Mist [Liang et al., 2023] y Anti-DreamBooth [Van Le et al., 2023]) son ineficaces cuando se enfrentan a métodos de imitación robustos simples. Los métodos de imitación robustos que consideramos van desde estrategias de bajo esfuerzo (como usar un script de ajuste fino diferente o agregar ruido gaussiano a las imágenes antes del entrenamiento) hasta estrategias de varios pasos que combinan herramientas estándar. Validamos nuestros resultados con un estudio de usuarios, que revela que los métodos de imitación robustos pueden producir resultados indistinguibles en calidad de los obtenidos a partir de obras de arte sin protección (consulte la Figura 1 para ver un ejemplo ilustrativo).  Demostramos que las herramientas de protección existentes sólo brindan una falsa sensación de seguridad. Nuestros métodos de mimetismo robustos no requieren el desarrollo de nuevas herramientas o métodos de ajuste, sino sólo una cuidadosa   ¡Combinando técnicas de procesamiento de imágenes estándar que ya existían en el momento en que se introdujeron por primera vez estas herramientas de protección! Por lo tanto, creemos que incluso los falsificadores poco cualificados podrían haber burlado fácilmente estas herramientas desde su creación.  Aunque evaluamos herramientas de protección específicas que existen en la actualidad, las limitaciones de las protecciones contra la imitación de estilo son inherentes. Los artistas están necesariamente en desventaja, ya que tienen que actuar primero (es decir, una vez que alguien descarga arte protegido, la protección ya no se puede cambiar). Para ser efectivas, las herramientas de protección se enfrentan a la difícil tarea de crear perturbaciones que se transfieran a cualquier técnica de ajuste fino, incluso las que se elijan de forma adaptativa en el futuro. Radiya-Dixit et al. (Radiya-Dixit et al., 2021) llegaron a una conclusión similar, argumentando que las perturbaciones adversarias no pueden proteger a los usuarios de los sistemas de reconocimiento facial. Por lo tanto, advertimos que las técnicas de aprendizaje automático adversarias no podrán proteger de manera confiable a los artistas de la imitación de estilo generativa, e instamos al desarrollo de medidas alternativas para proteger a los artistas.  Divulgamos nuestros resultados a las herramientas de protección afectadas antes de su publicación, para que pudieran determinar el mejor curso de acción para los usuarios existentes.  Este documento es  bajo licencia CC BY 4.0.   Disponible en arxiv

Part of HackerNoon's growing list of open-source research papers, promoting free access to academic material.

EScholar Technologies

EScholar

Este audio es producido en el idioma original de la historia!

Una nueva investigación revela vulnerabilidades en las herramientas de protección del arte popular contra el robo de IA

About Author

COMENTARIOS

ETIQUETAS

ESTE ARTÍCULO FUE PRESENTADO EN

Related Stories

Telegram: el puente de Crypto Island hacia el continente

Una breve introducción a la teoría del cerebro de Boltzmann

Una guía del arquitecto para crear una arquitectura de referencia para un lago de datos de IA/ML

¿Quieres ganar un concurso de redacción de HackerNoon? Esto es lo que recomiendan los ganadores del concurso #crypto-api

Telegram: el puente de Crypto Island hacia el continente

Una breve introducción a la teoría del cerebro de Boltzmann

Una guía del arquitecto para crear una arquitectura de referencia para un lago de datos de IA/ML

¿Quieres ganar un concurso de redacción de HackerNoon? Esto es lo que recomiendan los ganadores del concurso #crypto-api

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps