Los autores: a) El juicio de Zhang b) El señor Wu; 3) Lingcui Zhang 4) Fengyuan Xu 5) El Jin Cao; 6) Fenghua Li (7) Ben Niu . Authors: a) El juicio de Zhang b) El señor Wu; 3) Lingcui Zhang 4) Fengyuan Xu 5) El Jin Cao; 6) Fenghua Li (7) Ben Niu . Mesa de la izquierda Abstract and Introduction Background & Related Work 2.1 Text-to-Image Diffusion Model 2.2 Watermarking Techniques 2.3 Preliminary 2.3.1 [Problem Statement](https://hackernoon.com/preview/2x1yHRqHVmhjmOG0ig2c) 2.3.2 [Assumptions](https://hackernoon.com/preview/2x1yHRqHVmhjmOG0ig2c) 2.4 Methodology 2.4.1 [Research Problem](https://hackernoon.com/preview/2x1yHRqHVmhjmOG0ig2c) 2.4.2 [Design Overview](https://hackernoon.com/preview/2x1yHRqHVmhjmOG0ig2c) 2.4.3 [Instance-level Solution](https://hackernoon.com/preview/2x1yHRqHVmhjmOG0ig2c) 2.5 Statistical-level Solution Experimental Evaluation 3.1 Settings 3.2 Main Results 3.3 Ablation Studies 3.4 Conclusion & References Abstracción En particular, un oponente puede explotar los datos creados por un modelo comercial para entrenar su propio sin la debida autorización. Para abordar este riesgo, es crucial investigar la atribución de los datos de entrenamiento de un modelo sospechoso pre-treinado determinando si sus datos de entrenamiento se originan, en su totalidad o en parte, de un modelo de fuente específica. Para abordar este desafío, proponemos la atribución de los datos de entrenamiento sin inyección para los modelos de texto a imagen específicos. Nuestros métodos existentes requieren la aplicación de marcas de agua adicionales durante las fases de entrenamiento o de inferencia del modelo de fuente. Sin embargo, estos métodos son impracticables para los modelos pre-treinados que han sido lanzados, especialmente cuando los propietarios de los modelos carecen de experiencia en seguridad. Para abordar este desaf Likun Zhang, Hao Wu, Lingcui Zhang, Fengyuan Xu, Jin Cao, Fenghua Li, Ben Niu. 2024. Atribución de datos de capacitación: ¿Tu modelo fue entrenado en secreto en datos creados por mí? En . ACM, Nueva York, Nueva York, Estados Unidos, 9 páginas. https://doi.org/10.1145/nnnnnnnnn.nnnnnnnnn ACM Reference Format: 1 Introducción Sistemas de generación de texto a imagen basados en modelos de difusión se han convertido en herramientas populares para la creación de imágenes digitales y creaciones artísticas [16, 17]. Dado un ingreso rápido en lenguaje natural, estos sistemas generativos pueden sintetizar imágenes digitales de alta calidad estética. Sin embargo, la formación de estos modelos es una tarea bastante intensa, que requiere cantidades sustanciales de datos y recursos de formación. Hacen que tales modelos sean propiedades intelectuales valiosas para los propietarios de modelos, incluso si las estructuras del modelo suelen ser públicas. Una preocupación importante para tales modelos es el uso no autorizado de sus datos generados [10]. Como se ilustra en la Figura 1, un atacante podría potencialmente consultar un modelo comercial y recoger los datos generados por el modelo, luego utilizar los datos generados para entrenar su modelo personalizado. Este ataque ya ha levantado la alarma entre los desarrolladores de modelos comerciales. Algunas empresas líderes, por ejemplo, MidJourney [14] e ImagenAI [7], han declarado explícitamente en sus términos de usuario que tales prácticas no son permitidas, como se muestra en la Figura 2. Es crucial investigar la relación entre el modelo fuente y el modelo sospechoso. Para hacer frente a la tarea, uno puede pensar en utilizar las técnicas de marcado de agua para realizar la tarea. Los métodos de marcado de agua existentes generalmente se pueden categorizar en dos tipos: uno implica la incorporación de marcas de agua en los datos de formación durante la fase de formación del modelo [11, 12, 28], y el otro añade marcas de agua a las salidas del modelo después de la formación [10], de modo que los datos generados contienen características de marcas de agua rastreables. Sin embargo, hay dos problemas que las obras existentes no abordan completamente. En primer lugar, en lo que respecta a la viabilidad, permanece inexplorado si un modelo de fuente, una vez marcado con agua, puede pasar con éxito su marca de agua a un modelo sospechoso a través de los datos generados. En segundo lugar, en lo que respecta a la usabilidad, En este artículo, nuestro objetivo es descubrir los indicadores naturalmente incorporados dentro de un modelo de fuente, que pueden ser transferidos a cualquier modelo entrenado sobre los datos producidos por el modelo de fuente. Estos marcadores inherentes pueden revelar la relación entre la fuente y los modelos sospechosos. A diferencia de los marcadores injectados artificialmente, estos indicadores inherentes no requieren modificaciones al algoritmo de entrenamiento del modelo o las salidas. Esto significa que aplicar nuestro enfoque de método de atribución no comprometerá la calidad de la generación del modelo y no requiere ningún conocimiento de seguridad. La razón de nuestro enfoque proviene del fenómeno de memorización mostrado por los modelos de generación de texto a imagen. La memorización significa la capacidad de un modelo de recordar y reproducir imágenes de ciertas muestras de entrenamiento cuando el modelo es impulsado por los textos correspondientes durante la inferencia [23]. La investigación ha demostrado que tal memorización en los modelos generativos no es ocasional. Por el contrario, los modelos con un rendimiento superior y capacidades de generalización más fuertes demuestran una memorización más notable [23]. Aunque prometedor, aplicar el fenómeno de memorización para alcanzar nuestro objetivo no es sencillo. Incluso si logramos llevar a cabo una extracción de datos de formación exitosa sobre el modelo sospechoso como se propone en [3], la información que obtenemos son los datos generados por el modelo fuente. Dado que el espacio de generación del modelo fuente es amplio, se vuelve difícil verificar si los datos extraídos fueron generados por el modelo fuente. En este artículo, proponemos un método práctico sin inyección de datos para determinar si un modelo sospechoso ha sido entrenado utilizando datos generados por un determinado modelo de fuente. Nuestro enfoque considera tanto las características de comportamiento a nivel de instancia como estadísticas del modelo de fuente, que se tratan como parte de los indicadores inherentes para rastrear sus datos generados contra el uso no autorizado. En particular, en el nivel de instancia, desarrollamos dos estrategias para seleccionar un conjunto de muestras clave (en forma de pares de texto e imagen) dentro de los datos de formación del modelo de fuente. Este conjunto se elige para maximizar el fenómeno de memorización. Luego utilizamos los textos en estas muestras para consultar el modelo sospechoso a un coste mínimo, evaluando la relación entre los dos modelos en función de la similitud Los resultados experimentales demuestran que nuestra solución de atribución a nivel de instancia es fiable en la identificación de un modelo infringente con una confianza elevada de más de 0,8. Incluso cuando el modelo infringente utiliza solo una pequeña proporción como el 30% de los datos generados, la confianza de atribución es superior a 0,6, en par con el método de atribución basado en watermark existente. Our main contributions are summarized as: Centrándose en el problema de la violación de términos de usuario causada por el abuso de datos generados de modelos de texto a imagen pre-entrenados, formulamos el problema como la atribución de datos de formación en un escenario realista. Proponemos dos nuevas soluciones libres de inyección para atribuir los datos de entrenamiento de un modelo sospechoso al modelo fuente tanto a nivel de instancia como a nivel estadístico. Realizamos una evaluación exhaustiva de nuestro enfoque de atribución.Los resultados demuestran que su rendimiento está en par con el enfoque de atribución basado en señales de agua existente donde se inyectan señales de agua antes de implementar un modelo. El resto del artículo está organizado de la siguiente manera. Introducimos el conocimiento de fondo y trabajos relacionados en la Sección 2.La Sección 3 describe el preliminar y nuestras suposiciones.Después, la Sección 4 presenta nuestra pregunta de investigación y el enfoque de atribución en detalle.Los resultados de la evaluación experimental se reportan en la Sección 5. Este artículo está disponible en archivo bajo la licencia CC BY 4.0. Este documento es bajo la licencia CC BY 4.0. Disponible en Archivo
