Autorii : 1) Lichun Zhang b) să aibă o 3) Lingcui Zhang 4) Fengyuan Xu c) din punct de vedere tehnic; 6) Fenghua Li (7) Ben Niu . Authors: 1) Lichun Zhang b) să aibă o 3) Lingcui Zhang 4) Fengyuan Xu c) din punct de vedere tehnic; 6) Fenghua Li (7) Ben Niu . Tabelul din stânga Abstract and Introduction Background & Related Work 2.1 Text-to-Image Diffusion Model 2.2 Watermarking Techniques 2.3 Preliminary 2.3.1 [Problem Statement](https://hackernoon.com/preview/2x1yHRqHVmhjmOG0ig2c) 2.3.2 [Assumptions](https://hackernoon.com/preview/2x1yHRqHVmhjmOG0ig2c) 2.4 Methodology 2.4.1 [Research Problem](https://hackernoon.com/preview/2x1yHRqHVmhjmOG0ig2c) 2.4.2 [Design Overview](https://hackernoon.com/preview/2x1yHRqHVmhjmOG0ig2c) 2.4.3 [Instance-level Solution](https://hackernoon.com/preview/2x1yHRqHVmhjmOG0ig2c) 2.5 Statistical-level Solution Experimental Evaluation 3.1 Settings 3.2 Main Results 3.3 Ablation Studies 3.4 Conclusion & References abstractă În special, un adversar poate exploata datele create de un model comercial pentru a-și instrui propriile date fără autorizație corespunzătoare. Pentru a aborda un astfel de risc, este esențial să se investigheze atribuirea datelor de instruire ale unui model suspect, determinând dacă datele sale de instruire provin, în întregime sau parțial, de la un anumit model sursă. Pentru a urmări datele generate, metodele noastre existente necesită aplicarea unor etichete de apă suplimentare în timpul fie a etapelor de instruire, fie a fazelor de inferență ale modelului sursă. Cu toate acestea, aceste metode sunt impracticabile pentru modelele pre-instruite care au fost eliberate, mai ales atunci când proprietarii de modele nu au experiență în materie de securitate. Pentru a aborda această provocare, propun Likun Zhang, Hao Wu, Lingcui Zhang, Fengyuan Xu, Jin Cao, Fenghua Li, Ben Niu. 2024. Atribuirea datelor de formare: Modelul dvs. a fost instruit în secret pe datele create de mine? în . ACM, New York, NY, SUA, 9 pagini. https://doi.org/10.1145/nnnnnnnnn.nnnnnnnnn ACM Reference Format: 1 Introducere Sistemele de generare text-to-image bazate pe modele de difuzie au devenit instrumente populare pentru crearea de imagini digitale și creații artistice [16, 17]. Având în vedere o introducere promptă în limbajul natural, aceste sisteme generative pot sintetiza imagini digitale de înaltă calitate estetică. Cu toate acestea, formarea acestor modele este o sarcină destul de intensă, necesitând cantități substanțiale de date și resurse de formare. Acestea fac astfel de modele proprietăți intelectuale valoroase pentru proprietarii de modele, chiar dacă structurile modelului sunt de obicei publice. O preocupare semnificativă pentru astfel de modele este utilizarea neautorizată a datelor lor generate [10]. După cum este ilustrat în Figura 1, un atacator ar putea potențial să interogheze un model comercial și să colecteze datele generate de model, apoi să utilizeze datele generate pentru a-și instrui modelul personalizat. Acest atac a ridicat deja alarma în rândul dezvoltatorilor de modele comerciale. Unele companii de frunte, de exemplu, MidJourney [14] și ImagenAI [7], au declarat în mod explicit în termenii lor de utilizare că astfel de practici nu sunt permise, după cum se arată în Figura 2. Metodele existente de marcare a apei pot fi, în general, clasificate în două tipuri: una implică încorporarea semnelor de apă în datele de instruire în timpul fazei de instruire a modelului [11, 12, 28], iar cealaltă adaugă semnele de apă la ieșirile modelului după instruire [10], astfel încât datele generate conțin caracteristici de semn de apă trasabile. Cu toate acestea, există două probleme lucrările existente nu abordează pe deplin. În primul rând, în ceea ce privește fezabilitatea, rămâne neexplorat dacă un model sursă, odată marcat cu apă, poate trece cu succes semnele de apă la un model suspect prin datele generate. În al doilea rând, în ceea ce privește utilizabilitatea, tehnicile de semn de apă ar putea afecta calitatea modelului surs În acest document, obiectivul nostru este de a descoperi indicatorii încorporați în mod natural într-un model sursă, care pot fi transferați la orice model instruit pe datele produse de modelul sursă. Aceste etichete de apă inerente pot dezvălui relația dintre sursa și modelele suspecte. Spre deosebire de etichetele de apă injectate artificial, acești indicatori inerenți nu necesită modificări ale algoritmului de instruire sau ale ieșirilor modelului. Memorizarea înseamnă capacitatea unui model de a-și aminti și reproduce imaginile anumitor eșantioane de instruire atunci când modelul este determinat de textele corespunzătoare în timpul inferenței [23]. Cercetările au arătat că o astfel de memorare în modelele generative nu este ocazională. Deși promițătoare, aplicarea fenomenului memorizării pentru atingerea obiectivului nostru nu este simplă. Chiar dacă reușim să efectuăm cu succes o extracție de date de formare pe modelul suspect, așa cum este propus în [3], informațiile pe care le obținem sunt datele generate de modelul sursă. Având în vedere că spațiul de generare al modelului sursă este vast, devine dificil să verificăm dacă datele extrase au fost generate de modelul sursă. În acest document, propunem o metodă practică fără injecție de date pentru a determina dacă un model suspect a fost antrenat utilizând date generate de un anumit model sursă. Abordarea noastră ia în considerare atât caracteristicile de comportament la nivel de instanță, cât și cele statistice ale modelului sursă, care sunt tratate ca parte a indicatorilor inerenți pentru a urmări datele generate împotriva utilizării neautorizate. În special, la nivelul instanței, proiectăm două strategii pentru a selecta un set de mostre cheie (sub formă de perechi de text și imagini) în cadrul datelor de formare ale modelului sursă. Acest set este ales pentru a maximiza fenomenul de memorare. Vom folosi apoi textele din aceste mostre pentru a solicita modelul suspect la un cost minim, evaluând relația dintre cele două modele Rezultatele experimentale demonstrează că soluția noastră de atribuire la nivel de instanță este fiabilă în identificarea unui model de încălcare cu o încredere ridicată mai mare de 0,8. Chiar și atunci când modelul de încălcare utilizează doar o mică proporție, cum ar fi 30% din datele generate, încrederea de atribuire este mai mare de 0,6, la fel ca metoda existentă de atribuire bazată pe watermark. Our main contributions are summarized as: Concentrându-ne pe problema încălcării termenului de utilizator cauzată de utilizarea abuzivă a datelor generate din modelele text-to-image pre-instruite, formulăm problema ca atribuirea datelor de formare într-un scenariu realist. Propunem două noi soluții fără injecție pentru a atribui datele de instruire ale unui model suspect modelului sursă atât la nivel de instanță, cât și la nivel statistic. Realizăm o evaluare extinsă a abordării noastre de atribuire.Rezultatele demonstrează că performanța sa este la fel cu abordarea existentă de atribuire bazată pe etichete de apă, unde etichetele de apă sunt injectate înainte de implementarea unui model. Restul lucrării este organizat după cum urmează. Introducem cunoștințele de fond și lucrările conexe în Secțiunea 2. Secțiunea 3 descrie premisa și ipotezele noastre. Apoi, Secțiunea 4 prezintă în detaliu întrebarea noastră de cercetare și abordarea atribuirii. Rezultatele evaluării experimentale sunt raportate în Secțiunea 5. Acest document este disponibil în arhivă sub licența CC BY 4.0. Acest document este sub licența CC BY 4.0. Disponibil în arhivă
