Nova studija pokazuje da AI sada može da oponaša umjetničke stilove preciznije nego ikad

Tabela veza

Sažetak i 1. Uvod

2. Pozadina i srodni rad

3. Threat Model

4. Robusna stilska mimikrija

5. Eksperimentalna postavka

6. Rezultati

   6.1 Glavni nalazi: Sve zaštite se lako zaobilaze

   6.2 Analiza

7. Diskusija i širi uticaj, zahvalnosti i reference

A. Detaljni primjeri umjetnosti

B. Generacije robusne mimikrije

C. Detaljni rezultati

D. Razlike sa finim podešavanjem glazure

E. Nalazi o glazuri 2.0

F. Nalazi o magli v2

G. Metode za stilsku mimikriju

H. Postojeća zaštita stila mimikrije

I. Robustne mimikrijske metode

J. Eksperimentalna postavka

K. Korisnička studija

L. Računalni resursi

4 Robusna stilska mimikrija

Kažemo da je metoda stilske mimikrije robusna ako može oponašati stil umjetnika koristeći samo zaštićena umjetnička djela. Iako su metode za robusnu mimikriju već predložene, primjećujemo niz ograničenja u ovim metodama i njihovu evaluaciju u Odjeljku 4.1. Zatim predlažemo vlastite metode (Odjeljak 4.3) i evaluaciju (Odjeljak 5) koje rješavaju ova ograničenja.

4.1 Ograničenja prethodnih metoda robusne mimikrije i njihovih evaluacija

(1) Neke zaštite mimikrije se ne generaliziraju kroz postavke finog podešavanja . Većina krivotvoritelja je inherentno lošenamjerna jer ignorišu istinske zahtjeve umjetnika da ne koriste svoju umjetnost za generativnu umjetnu inteligenciju (Heikkila¨, 2022). Uspješna zaštita stoga mora odoljeti pokušajima zaobilaženja od strane krivotvoritelja s razumnim resursima koji može isprobati razne alate. Ipak, u preliminarnim eksperimentima, otkrili smo da je Glaze (Shan et al., 2023a) pokazao znatno lošiji učinak nego što se tvrdilo u originalnoj evaluaciji, čak i prije nego što je aktivno pokušao da ga zaobiđe. Nakon razgovora s autorima Glaze-a, otkrili smo male razlike između našeg standardnog skripta za fino podešavanje i onog korištenog u Glazeovoj originalnoj evaluaciji (koju su autori podijelili s nama).[1] Ove manje razlike u finom podešavanju dovoljne su da značajno degradiraju zaštitu Glaze-a (vidi sliku 2 za kvalitativne primjere). Budući da naša gotova skripta za fino podešavanje nije dizajnirana da zaobiđe zaštitu mimikrije stila, ovi rezultati već nagovještavaju površnu i krhku zaštitu koju postojeći alati pružaju: umjetnici nemaju kontrolu nad skriptom za fino podešavanje ili hiperparametrima koje bi krivotvoritelj koristio, tako da zaštite mora biti robustan u svim ovim izborima.

(2) Postojeći pokušaji robusne mimikrije su suboptimalni. Prethodne procjene zaštite ne odražavaju sposobnosti umjereno snalažljivih krivotvoritelja, koji koriste najsavremenije metode (čak i one gotove). Na primjer, Mist (Liang et al., 2023) ocjenjuje u odnosu na prečišćavanje DiffPure koristeći zastarjeli model prečišćavanja niske rezolucije. Koristeći DiffPure sa novijim modelom, primjećujemo značajna poboljšanja. Glaze (Shan et al., 2023a) se ne procjenjuje u odnosu na nijednu verziju DiffPure-a, ali zahtijeva zaštitu od komprimovanog povećanja veličine, koje prvo kompresuje sliku u JPEG formatu, a zatim je povećava pomoću namenskog modela. Ipak, pokazaćemo da jednostavnom zamenom JPEG kompresije Gausovim šumom stvaramo Noisy Upscaling kao varijantu koja je veoma uspešna u uklanjanju zaštite mimikrije (pogledajte sliku 26 za poređenje između obe metode).

(3) Postojeće evaluacije nisu sveobuhvatne. Usporediti robusnost prethodnih zaštita je izazov jer originalne evaluacije koriste različite skupove izvođača, upita i podešavanja finog podešavanja. Štaviše, neke evaluacije se oslanjaju na automatizovane metrike (npr. CLIP sličnost) koje su nepouzdane za merenje stilske mimikrije (Shan et al., 2023a,b). Zbog krhkosti metoda zaštite i subjektivnosti mimikrijske procjene, smatramo da je potrebna jedinstvena procjena.

4.2 Jedinstvena i rigorozna evaluacija metoda robusne mimikrije

Da bismo odgovorili na ograničenja predstavljena u Odjeljku 4.1, uvodimo objedinjeni protokol evaluacije kako bismo pouzdano procijenili kako se postojeće zaštite ponašaju protiv raznih jednostavnih i prirodnih robusnih metoda mimikrije. Naša rješenja za svako od gore navedenih ograničenja su: (1) Napadač koristi popularnu "gotovu" skriptu za fino podešavanje za najjači model otvorenog koda za koji sve zaštite tvrde da je učinkovit: Stable Diffusion 2.1. Ova skripta za fino podešavanje se bira nezavisno od bilo koje od ovih zaštita i tretiramo je kao crnu kutiju. (2) Dizajniramo četiri robusne metode mimikrije, opisane u odjeljku 4.3. Prioritet dajemo jednostavnosti i lakoći upotrebe za napadače sa niskim stepenom stručnosti kombinovanjem različitih alata koji su dostupni na polici. (3) Dizajniramo i provodimo korisničku studiju kako bismo procijenili svaku zaštitu mimikrije od svake robusne metode mimikrije na zajedničkom skupu umjetnika i indikacija.

4.3 Naše robusne metode mimikrije

Sada opisujemo četiri robusne metode mimikrije koje smo osmislili da procijene robusnost zaštite. Prvenstveno dajemo prioritet jednostavnim metodama koje zahtijevaju samo prethodnu obradu zaštićenih slika. Ove metode predstavljaju veći rizik jer su pristupačnije, ne zahtijevaju tehničku ekspertizu i mogu se koristiti u scenarijima crne kutije (npr. ako se fino podešavanje pruža kao API usluga). Radi potpunosti, dalje predlažemo jednu metodu bijele kutije, inspirisanu IMPRESS-om (Cao et al., 2024).

Napominjemo da su metode koje predlažemo razmotrene (barem djelomično) u prethodnom radu koji je utvrdio da su neefikasne protiv zaštite stilskih mimikrija (Shan et al., 2023a; Liang et al., 2023; Shan et al., 2023b ). Ipak, kao što smo primijetili u Odjeljku 4.1, ove procjene su imale niz ograničenja. Stoga ćemo preispitati ove metode (ili njihove male varijante) i pokazati da su znatno uspješnije nego što se ranije tvrdilo.

Metode predprocesiranja crne kutije.

✦ Gausov šum . Kao jednostavan korak predobrade, zaštićenim slikama dodajemo male količine Gaussovog šuma. Ovaj pristup se može koristiti ispred bilo kojeg modela difuzije crne kutije.

✦ DiffPure . Koristimo modele slika-sliku da uklonimo perturbacije koje uvode zaštite, koje se nazivaju i DiffPure (Nie et al., 2022) (vidi Dodatak I.1). Ova metoda je crna kutija, ali zahtijeva dva različita modela: pročišćivač i onaj koji se koristi za mimikriju stila. Koristimo Stable Diffusion XL kao naš pročišćivač.

✦ Noisy Upscaling . Predstavljamo jednostavnu i efikasnu varijantu dvostepenog prečišćavanja sa povećanjem nivoa koji se razmatra u Glaze (Shan et al., 2023a). Njihova metoda prvo izvodi JPEG kompresiju (da bi se minimizirale perturbacije), a zatim koristi Stable Diffusion Upscaler (Rombach et al., 2022) (da bi se ublažile degradacije u kvalitetu). Ipak, otkrivamo da povećanje veličine zapravo povećava artefakte JPEG kompresije umjesto da ih uklanja. Da bismo dizajnirali bolju metodu pročišćavanja, primjećujemo da je Upscaler obučen na slikama uvećanim Gaussovim šumom. Stoga, pročišćavamo zaštićenu sliku tako što prvo primjenjujemo Gaussov šum, a zatim primjenjujemo Upscaler. Ova metoda bučnog povećanja veličine ne uvodi nikakve vidljive artefakte i značajno smanjuje zaštitu (vidi sliku 26 za primjer i Dodatak I.2 za detalje).

Metode bijele kutije.

✦ IMPRESS ++. Radi potpunosti, dizajniramo metodu bijele kutije kako bismo procijenili mogu li složenije metode dodatno poboljšati robusnost stilske mimikrije. Naša metoda se zasniva na IMPRESS-u (Cao et al., 2024.), ali usvaja drugačiju funkciju gubitka i dalje primjenjuje negativno podsticanje (Miyake et al., 2023.) i smanjenje šuma kako bi se poboljšala robusnost procedure uzorkovanja (vidi Dodatak I.3 i sliku 27 za detalje).

[1] Dvije skripte za fino podešavanje uglavnom se razlikuju po izboru biblioteke, modela i hiperparametara. Koristimo standardnu HuggingFace skriptu i Stable Diffusion 2.1 (model procijenjen u Glaze papiru).