Jauns pētījums parāda, ka mākslīgais intelekts tagad var atdarināt mākslas stilus precīzāk nekā jebkad agrāk

Saišu tabula

Abstrakts un 1. Ievads

2. Priekšvēsture un ar to saistītie darbi

3. Draudu modelis

4. Izturīga stila mīmika

5. Eksperimentālā iestatīšana

6. Rezultāti

   6.1. Galvenie konstatējumi: visas aizsardzības iespējas ir viegli apietas

   6.2. Analīze

7. Diskusija un plašāka ietekme, Pateicības un atsauces

A. Detalizēti mākslas piemēri

B. Izturīgas mīmikas paaudzes

C. Detalizēti rezultāti

D. Atšķirības ar glazūras pielāgošanu

E. Secinājumi par glazūru 2.0

F. Secinājumi par miglu v2

G. Metodes stila mīmikai

H. Esošās stila mīmikas aizsardzības līdzekļi

I. Robustas mīmikas metodes

J. Eksperimentālā iestatīšana

K. Lietotāja pētījums

L. Aprēķināt resursi

4 Izturīga stila mīmika

Mēs sakām, ka stila mīmikas metode ir stabila, ja tā var līdzināties mākslinieka stilam, izmantojot tikai aizsargātus mākslas darbus. Lai gan robustās mīmikas metodes jau ir ierosinātas, mēs atzīmējam vairākus ierobežojumus attiecībā uz šīm metodēm un to novērtēšanu 4.1. sadaļā. Pēc tam mēs piedāvājam savas metodes (4.3. sadaļa) un novērtēšanu (5. sadaļa), kas novērš šos ierobežojumus.

4.1. Iepriekšējo robustās mīmikas metožu un to novērtējuma ierobežojumi

(1) Dažas atdarināšanas aizsardzības metodes nav vispārinātas precizēšanas iestatījumos . Lielākajai daļai viltotāju pēc būtības ir slikti nodomi, jo viņi ignorē mākslinieku patiesos lūgumus neizmantot viņu mākslu ģeneratīvai AI (Heikkila¨, 2022). Veiksmīgai aizsardzībai tādējādi ir jāatturas pret apiešanas mēģinājumiem no saprātīgiem resursiem bagāta viltotāja, kurš var izmēģināt dažādus rīkus. Tomēr sākotnējos eksperimentos mēs atklājām, ka Glaze (Shan et al., 2023a) darbojās ievērojami sliktāk, nekā tika apgalvots sākotnējā novērtējumā, pat pirms aktīvi mēģināja to apiet. Pēc pārrunām ar Glazūras autoriem mēs atklājām nelielas atšķirības starp mūsu jau sagatavoto pielāgošanas scenāriju un to, kas tika izmantots Glāzes sākotnējā novērtējumā (kuru autori dalījās ar mums).[1] Šīs nelielās atšķirības precizēšanā ir pietiekamas, lai būtiski pasliktinātu Glazūras aizsardzību (kvalitatīvus piemērus skatiet 2. attēlā). Tā kā mūsu jau pieejamais precīzās noregulēšanas skripts nav izstrādāts, lai apietu stila mīmikas aizsardzību, šie rezultāti jau norāda uz virspusējo un trauslo aizsardzību, ko nodrošina esošie rīki: mākslinieki nevar kontrolēt precīzās noregulēšanas skriptu vai hiperparametrus, ko izmantotu viltotājs, tāpēc aizsardzība. šīm izvēlēm jābūt noturīgām.

(2) Esošie robustās mīmikas mēģinājumi nav optimāli. Iepriekšējie aizsardzības novērtējumi neatspoguļo vidēji atjautīgu viltotāju spējas, kuri izmanto vismodernākās metodes (pat jau gatavās). Piemēram, Mist (Liang et al., 2023) novērtē pret DiffPure attīrīšanu, izmantojot novecojušu un zemas izšķirtspējas attīrīšanas modeli. Izmantojot DiffPure ar jaunāku modeli, mēs novērojam ievērojamus uzlabojumus. Glazūra (Shan et al., 2023a) netiek novērtēta pret nevienu DiffPure versiju, taču tā ir aizsargāta pret saspiestu palielināšanu, kas vispirms saspiež attēlu ar JPEG un pēc tam palielina to ar īpašu modeli. Tomēr mēs parādīsim, ka, vienkārši nomainot JPEG saspiešanu ar Gausa trokšņiem, mēs izveidojam trokšņaino palielināšanu kā variantu, kas ļoti veiksmīgi novērš mīmikas aizsardzību (abu metožu salīdzinājumu skatiet 26. attēlā).

(3) Esošie novērtējumi nav visaptveroši. Iepriekšējās aizsardzības noturības salīdzināšana ir sarežģīta, jo sākotnējos novērtējumos tiek izmantotas dažādas izpildītāju kopas, uzvednes un precizējoši iestatījumi. Turklāt daži novērtējumi balstās uz automatizētiem rādītājiem (piemēram, CLIP līdzību), kas nav uzticami stila mīmikas mērīšanai (Shan et al., 2023a, b). Aizsardzības metožu trausluma un mīmikas novērtējumu subjektivitātes dēļ mēs uzskatām, ka ir nepieciešams vienots novērtējums.

4.2. Vienots un stingrs robustās mīmikas metožu novērtējums

Lai novērstu 4.1. sadaļā norādītos ierobežojumus, mēs ieviešam vienotu novērtēšanas protokolu, lai ticami novērtētu, kā esošās aizsardzības darbojas pret dažādām vienkāršām un dabiski stabilām mīmikas metodēm. Mūsu risinājumi katram no iepriekš minētajiem numurētajiem ierobežojumiem ir šādi: (1) Uzbrucējs izmanto populāru “gatavu” precizēšanas skriptu spēcīgākajam atvērtā pirmkoda modelim, kas tiek uzskatīts par efektīvu: Stabila difūzija 2.1. Šis precīzās noregulēšanas skripts tiek izvēlēts neatkarīgi no šiem aizsardzības veidiem, un mēs to uzskatām par melno kasti. (2) Mēs izstrādājam četras spēcīgas mīmikas metodes, kas aprakstītas 4.3. sadaļā. Mēs piešķiram prioritāti vienkāršībai un lietošanas vienkāršībai uzbrucējiem ar zemu kompetenci, apvienojot dažādus jau pieejamus rīkus. (3) Mēs izstrādājam un veicam lietotāju pētījumu, lai novērtētu katru mīmikas aizsardzību pret katru spēcīgu mīmikas metodi, izmantojot kopēju mākslinieku un uzvedņu kopu.

4.3. Mūsu spēcīgās mīmikas metodes

Tagad mēs aprakstām četras spēcīgas mīmikas metodes, kuras izstrādājām, lai novērtētu aizsardzības noturību. Mēs galvenokārt piešķiram prioritāti vienkāršām metodēm, kurām nepieciešama tikai aizsargātu attēlu iepriekšēja apstrāde. Šīs metodes rada lielāku risku, jo tās ir pieejamākas, tām nav nepieciešamas tehniskas zināšanas un tās var izmantot melnās kastes scenārijos (piemēram, ja precizēšana tiek nodrošināta kā API pakalpojums). Lai nodrošinātu pilnīgumu, mēs piedāvājam vienu baltās kastes metodi, ko iedvesmojis IMPRESS (Cao et al., 2024).

Mēs atzīmējam, ka mūsu piedāvātās metodes ir ņemtas vērā (vismaz daļēji) iepriekšējā darbā, kas atklāja, ka tās ir neefektīvas pret stila mīmikas aizsardzību (Shan et al., 2023a; Liang et al., 2023; Shan et al., 2023b ). Tomēr, kā mēs atzīmējām 4.1. sadaļā, šiem novērtējumiem bija vairāki ierobežojumi. Tādējādi mēs atkārtoti novērtēsim šīs metodes (vai nelielos to variantus) un parādīsim, ka tās ir ievērojami veiksmīgākas nekā iepriekš apgalvots.

Melnās kastes pirmapstrādes metodes.

✦ Gausa trokšņi . Kā vienkāršu pirmapstrādes darbību mēs aizsargājamiem attēliem pievienojam nelielu Gausa trokšņa daudzumu. Šo pieeju var izmantot pirms jebkura melnās kastes difūzijas modeļa.

✦ DiffPure . Mēs izmantojam modeļus no attēla pārvēršanas, lai novērstu traucējumus, ko rada aizsardzība, ko sauc arī par DiffPure (Nie et al., 2022) (skatiet I.1. pielikumu). Šī metode ir melnā kaste, bet tai ir nepieciešami divi dažādi modeļi: attīrītājs un stila atdarināšanai izmantotais. Mēs izmantojam Stable Diffusion XL kā mūsu attīrītāju.

✦ Trokšņaina palielināšana . Mēs ieviešam vienkāršu un efektīvu divpakāpju palielināšanas attīrīšanas variantu, kas aplūkots Glaze (Shan et al., 2023a). Viņu metode vispirms veic JPEG saspiešanu (lai samazinātu traucējumus) un pēc tam izmanto Stable Diffusion Upscaler (Rombach et al., 2022) (lai mazinātu kvalitātes pasliktināšanos). Tomēr mēs atklājam, ka palielināšana faktiski palielina JPEG saspiešanas artefaktus, nevis tos noņem. Lai izstrādātu labāku attīrīšanas metodi, mēs novērojam, ka Upscaler ir apmācīts attēliem, kas papildināti ar Gausa troksni. Tāpēc mēs attīrām aizsargāto attēlu, vispirms izmantojot Gausa troksni un pēc tam piemērojot Upscaler. Šī trokšņainās palielināšanas metode nerada manāmus artefaktus un ievērojami samazina aizsardzību (skatiet piemēru 26. attēlā un sīkāku informāciju I.2. pielikumā).

Baltās kastes metodes.

✦ IMPRESS ++. Lai nodrošinātu pilnīgumu, mēs izstrādājam baltās kastes metodi, lai novērtētu, vai sarežģītākas metodes var vēl vairāk uzlabot stila mīmikas noturību. Mūsu metode balstās uz IMPRESS (Cao et al., 2024), bet izmanto atšķirīgu zudumu funkciju un tālāk izmanto negatīvu pamudinājumu (Miyake et al., 2023) un trokšņu slāpēšanu, lai uzlabotu paraugu ņemšanas procedūras noturību (sk. I.3. pielikumu un attēlu). 27, lai iegūtu sīkāku informāciju).

[1] Abi precizēšanas skripti galvenokārt atšķiras ar bibliotēkas, modeļa un hiperparametru izvēli. Mēs izmantojam standarta HuggingFace skriptu un Stable Diffusion 2.1 (modelis, kas novērtēts glazūras papīrā).