paint-brush
Nova studija pokazuje da AI sada može da oponaša umjetničke stilove preciznije nego ikadby@torts
310 čitanja
310 čitanja

Nova studija pokazuje da AI sada može da oponaša umjetničke stilove preciznije nego ikad

by Torts
Torts HackerNoon profile picture

Torts

@torts

Exploring the legal landscape of the digital age. Read my...

5 min read2024/12/10
Read on Terminal Reader
Read this story in a terminal
Print this story
tldt arrow
bs-flagBS
Pročitajte ovu priču na bosanskom!
en-flagEN
Read this story in the original language, English!
es-flagES
Lee esta historia en Español!
hi-flagHI
इस कहानी को हिंदी में पढ़ें!
zh-flagZH
用繁體中文閱讀這個故事!
ja-flagJA
この物語を日本語で読んでください!
so-flagSO
Sheekadan Af-Soomaali ku akhri!
mn-flagMN
Энэ түүхийг монгол хэлээр уншаарай!
lv-flagLV
Izlasi šo stāstu latviešu valodā!
sn-flagSN
Verenga nyaya iyi muShona!
tg-flagTG
Ин қиссаро бо забони тоҷикӣ хонед!
uk-flagUK
Читайте цю історію українською!
ht-flagHT
Li istwa sa a an kreyòl ayisyen!
BS

Predugo; Citati

Robusne metode mimikrije kao što su Noisy Upscaling i IMPRESS++ otkrivaju ranjivosti u AI zaštitama kao što je Glaze, čineći zaštitu stila manje efikasnom
featured image - Nova studija pokazuje da AI sada može da oponaša umjetničke stilove preciznije nego ikad
Torts HackerNoon profile picture
Torts

Torts

@torts

Exploring the legal landscape of the digital age. Read my articles to understand the why behind the what.

0-item

STORY’S CREDIBILITY

Academic Research Paper

Academic Research Paper

Part of HackerNoon's growing list of open-source research papers, promoting free access to academic material.

Tabela veza

Sažetak i 1. Uvod

  1. Pozadina i srodni rad

  2. Threat Model

  3. Robusna stilska mimikrija

  4. Eksperimentalna postavka

  5. Rezultati

    6.1 Glavni nalazi: Sve zaštite se lako zaobilaze

    6.2 Analiza

  6. Diskusija i širi uticaj, zahvalnosti i reference

A. Detaljni primjeri umjetnosti

B. Generacije robusne mimikrije

C. Detaljni rezultati

D. Razlike sa finim podešavanjem glazure

E. Nalazi o glazuri 2.0

F. Nalazi o magli v2

G. Metode za stilsku mimikriju

H. Postojeća zaštita stila mimikrije

I. Robustne mimikrijske metode

J. Eksperimentalna postavka

K. Korisnička studija

L. Računalni resursi

4 Robusna stilska mimikrija

Kažemo da je metoda stilske mimikrije robusna ako može oponašati stil umjetnika koristeći samo zaštićena umjetnička djela. Iako su metode za robusnu mimikriju već predložene, primjećujemo niz ograničenja u ovim metodama i njihovu evaluaciju u Odjeljku 4.1. Zatim predlažemo vlastite metode (Odjeljak 4.3) i evaluaciju (Odjeljak 5) koje rješavaju ova ograničenja.

4.1 Ograničenja prethodnih metoda robusne mimikrije i njihovih evaluacija

(1) Neke zaštite mimikrije se ne generaliziraju kroz postavke finog podešavanja . Većina krivotvoritelja je inherentno lošenamjerna jer ignorišu istinske zahtjeve umjetnika da ne koriste svoju umjetnost za generativnu umjetnu inteligenciju (Heikkila¨, 2022). Uspješna zaštita stoga mora odoljeti pokušajima zaobilaženja od strane krivotvoritelja s razumnim resursima koji može isprobati razne alate. Ipak, u preliminarnim eksperimentima, otkrili smo da je Glaze (Shan et al., 2023a) pokazao znatno lošiji učinak nego što se tvrdilo u originalnoj evaluaciji, čak i prije nego što je aktivno pokušao da ga zaobiđe. Nakon razgovora s autorima Glaze-a, otkrili smo male razlike između našeg standardnog skripta za fino podešavanje i onog korištenog u Glazeovoj originalnoj evaluaciji (koju su autori podijelili s nama).[1] Ove manje razlike u finom podešavanju dovoljne su da značajno degradiraju zaštitu Glaze-a (vidi sliku 2 za kvalitativne primjere). Budući da naša gotova skripta za fino podešavanje nije dizajnirana da zaobiđe zaštitu mimikrije stila, ovi rezultati već nagovještavaju površnu i krhku zaštitu koju postojeći alati pružaju: umjetnici nemaju kontrolu nad skriptom za fino podešavanje ili hiperparametrima koje bi krivotvoritelj koristio, tako da zaštite mora biti robustan u svim ovim izborima.


(2) Postojeći pokušaji robusne mimikrije su suboptimalni. Prethodne procjene zaštite ne odražavaju sposobnosti umjereno snalažljivih krivotvoritelja, koji koriste najsavremenije metode (čak i one gotove). Na primjer, Mist (Liang et al., 2023) ocjenjuje u odnosu na prečišćavanje DiffPure koristeći zastarjeli model prečišćavanja niske rezolucije. Koristeći DiffPure sa novijim modelom, primjećujemo značajna poboljšanja. Glaze (Shan et al., 2023a) se ne procjenjuje u odnosu na nijednu verziju DiffPure-a, ali zahtijeva zaštitu od komprimovanog povećanja veličine, koje prvo kompresuje sliku u JPEG formatu, a zatim je povećava pomoću namenskog modela. Ipak, pokazaćemo da jednostavnom zamenom JPEG kompresije Gausovim šumom stvaramo Noisy Upscaling kao varijantu koja je veoma uspešna u uklanjanju zaštite mimikrije (pogledajte sliku 26 za poređenje između obe metode).


(3) Postojeće evaluacije nisu sveobuhvatne. Usporediti robusnost prethodnih zaštita je izazov jer originalne evaluacije koriste različite skupove izvođača, upita i podešavanja finog podešavanja. Štaviše, neke evaluacije se oslanjaju na automatizovane metrike (npr. CLIP sličnost) koje su nepouzdane za merenje stilske mimikrije (Shan et al., 2023a,b). Zbog krhkosti metoda zaštite i subjektivnosti mimikrijske procjene, smatramo da je potrebna jedinstvena procjena.

4.2 Jedinstvena i rigorozna evaluacija metoda robusne mimikrije

Da bismo odgovorili na ograničenja predstavljena u Odjeljku 4.1, uvodimo objedinjeni protokol evaluacije kako bismo pouzdano procijenili kako se postojeće zaštite ponašaju protiv raznih jednostavnih i prirodnih robusnih metoda mimikrije. Naša rješenja za svako od gore navedenih ograničenja su: (1) Napadač koristi popularnu "gotovu" skriptu za fino podešavanje za najjači model otvorenog koda za koji sve zaštite tvrde da je učinkovit: Stable Diffusion 2.1. Ova skripta za fino podešavanje se bira nezavisno od bilo koje od ovih zaštita i tretiramo je kao crnu kutiju. (2) Dizajniramo četiri robusne metode mimikrije, opisane u odjeljku 4.3. Prioritet dajemo jednostavnosti i lakoći upotrebe za napadače sa niskim stepenom stručnosti kombinovanjem različitih alata koji su dostupni na polici. (3) Dizajniramo i provodimo korisničku studiju kako bismo procijenili svaku zaštitu mimikrije od svake robusne metode mimikrije na zajedničkom skupu umjetnika i indikacija.

4.3 Naše robusne metode mimikrije

Sada opisujemo četiri robusne metode mimikrije koje smo osmislili da procijene robusnost zaštite. Prvenstveno dajemo prioritet jednostavnim metodama koje zahtijevaju samo prethodnu obradu zaštićenih slika. Ove metode predstavljaju veći rizik jer su pristupačnije, ne zahtijevaju tehničku ekspertizu i mogu se koristiti u scenarijima crne kutije (npr. ako se fino podešavanje pruža kao API usluga). Radi potpunosti, dalje predlažemo jednu metodu bijele kutije, inspirisanu IMPRESS-om (Cao et al., 2024).


Napominjemo da su metode koje predlažemo razmotrene (barem djelomično) u prethodnom radu koji je utvrdio da su neefikasne protiv zaštite stilskih mimikrija (Shan et al., 2023a; Liang et al., 2023; Shan et al., 2023b ). Ipak, kao što smo primijetili u Odjeljku 4.1, ove procjene su imale niz ograničenja. Stoga ćemo preispitati ove metode (ili njihove male varijante) i pokazati da su znatno uspješnije nego što se ranije tvrdilo.


Metode predprocesiranja crne kutije.


Gausov šum . Kao jednostavan korak predobrade, zaštićenim slikama dodajemo male količine Gaussovog šuma. Ovaj pristup se može koristiti ispred bilo kojeg modela difuzije crne kutije.


DiffPure . Koristimo modele slika-sliku da uklonimo perturbacije koje uvode zaštite, koje se nazivaju i DiffPure (Nie et al., 2022) (vidi Dodatak I.1). Ova metoda je crna kutija, ali zahtijeva dva različita modela: pročišćivač i onaj koji se koristi za mimikriju stila. Koristimo Stable Diffusion XL kao naš pročišćivač.


Noisy Upscaling . Predstavljamo jednostavnu i efikasnu varijantu dvostepenog prečišćavanja sa povećanjem nivoa koji se razmatra u Glaze (Shan et al., 2023a). Njihova metoda prvo izvodi JPEG kompresiju (da bi se minimizirale perturbacije), a zatim koristi Stable Diffusion Upscaler (Rombach et al., 2022) (da bi se ublažile degradacije u kvalitetu). Ipak, otkrivamo da povećanje veličine zapravo povećava artefakte JPEG kompresije umjesto da ih uklanja. Da bismo dizajnirali bolju metodu pročišćavanja, primjećujemo da je Upscaler obučen na slikama uvećanim Gaussovim šumom. Stoga, pročišćavamo zaštićenu sliku tako što prvo primjenjujemo Gaussov šum, a zatim primjenjujemo Upscaler. Ova metoda bučnog povećanja veličine ne uvodi nikakve vidljive artefakte i značajno smanjuje zaštitu (vidi sliku 26 za primjer i Dodatak I.2 za detalje).


Metode bijele kutije.


IMPRESS ++. Radi potpunosti, dizajniramo metodu bijele kutije kako bismo procijenili mogu li složenije metode dodatno poboljšati robusnost stilske mimikrije. Naša metoda se zasniva na IMPRESS-u (Cao et al., 2024.), ali usvaja drugačiju funkciju gubitka i dalje primjenjuje negativno podsticanje (Miyake et al., 2023.) i smanjenje šuma kako bi se poboljšala robusnost procedure uzorkovanja (vidi Dodatak I.3 i sliku 27 za detalje).


Autori:

(1) Robert Honig, ETH Zurich (robert.hoenig@inf.ethz.ch);

(2) Javier Rando, ETH Zurich (javier.rando@inf.ethz.ch);

(3) Nicholas Carlini, Google DeepMind;

(4) Florian Tramer, ETH Cirih (florian.tramer@inf.ethz.ch).


Ovaj papir je dostupno na arxiv pod licencom CC BY 4.0.

[1] Dvije skripte za fino podešavanje uglavnom se razlikuju po izboru biblioteke, modela i hiperparametara. Koristimo standardnu HuggingFace skriptu i Stable Diffusion 2.1 (model procijenjen u Glaze papiru).

L O A D I N G
. . . comments & more!

About Author

Torts HackerNoon profile picture
Torts@torts
Exploring the legal landscape of the digital age. Read my articles to understand the why behind the what.

HANG TAGS

OVAJ ČLANAK JE PREDSTAVLJEN U...

Read on Terminal Reader
Read this story in a terminal
 Terminal
Read this story w/o Javascript
Read this story w/o Javascript
 Lite
Also published here
X REMOVE AD