Autori:
(1) Robert Honig, ETH Zurich ([email protected]);
(2) Javier Rando, ETH Zurich ([email protected]);
(3) Nicholas Carlini, Google DeepMind;
(4) Florian Tramer, ETH Zurich ([email protected]).
A. Detaljni umjetnički primjeri
B. Generacije robusne mimikrije
D. Razlike s finim podešavanjem glazure
H. Postojeće zaštite od oponašanja stila
Umjetnici su sve više zabrinuti zbog napretka u modelima generiranja slika koji mogu u potpunosti replicirati njihove jedinstvene umjetničke stilove. Kao odgovor, razvijeno je nekoliko alata za zaštitu od stilske mimikrije koji uključuju male kontradiktorne poremećaje u umjetnička djela objavljena online. U ovom radu procjenjujemo učinkovitost popularnih zaštita—s milijunima preuzimanja—i pokazujemo da pružaju samo lažni osjećaj sigurnosti. Smatramo da su tehnike koje ne zahtijevaju mnogo truda i koje su već gotove, kao što je povećanje veličine slike, dovoljne za stvaranje robusnih metoda mimikrije koje značajno degradiraju postojeće zaštite. Kroz korisničku studiju, pokazujemo da se sve postojeće zaštite mogu lako zaobići, ostavljajući umjetnike ranjivima na stilsku mimiku. Upozoravamo da alati temeljeni na kontradiktornim perturbacijama ne mogu pouzdano zaštititi umjetnike od zlouporabe generativne umjetne inteligencije i potičemo razvoj alternativnih zaštitnih rješenja.
Mimikrija stila popularna je primjena generativnih modela teksta u sliku. S obzirom na nekoliko slika umjetnika, model se može fino podesiti za stvaranje novih slika u tom stilu (npr. svemirski brod u stilu Van Gogha). Ali mimikrija stila može uzrokovati značajnu štetu ako se zloupotrijebi. Konkretno, mnogi suvremeni umjetnici brinu se da bi drugi sada mogli proizvoditi slike koje kopiraju njihov jedinstveni umjetnički stil i potencijalno ukrasti kupce (Heikkila¨, 2022.). Kao odgovor, razvijeno je nekoliko zaštita za zaštitu umjetnika od stilske mimikrije (Shan et al., 2023a; Van Le et al., 2023; Liang et al., 2023). Ove zaštite dodaju kontradiktorne poremećaje slikama koje umjetnici objavljuju na internetu, kako bi spriječili proces finog podešavanja. Ove su zaštite dobile značajnu pozornost medija—s objavama u New York Timesu (Hill, 2023.), CNN-u (Thorbecke, 2023.) i Scientific American (Leffer, 2023.)—i preuzete su više od milijun puta (Shan et al. , 2023a).
Ipak, nejasno je u kojoj mjeri ti alati zapravo štite umjetnike od stilske mimikrije, osobito ako ih netko aktivno pokušava zaobići (Radiya-Dixit et al., 2021.). U ovom radu pokazujemo da najsuvremeniji alati za zaštitu stila — Glaze (Shan et al., 2023a), Mist (Liang et al., 2023) i Anti-DreamBooth (Van Le et al., 2023) —su neučinkoviti kada se suoče s jednostavnim robusnim metodama oponašanja. Robusne metode oponašanja koje razmatramo kreću se od strategija s malim naporom—kao što je korištenje različite skripte za fino podešavanje ili dodavanje Gaussovog šuma slikama prije treninga—do strategija u više koraka koje kombiniraju gotove alate. Naše rezultate potvrđujemo istraživanjem korisnika, koje otkriva da robusne metode mimikrije mogu proizvesti rezultate koji se po kvaliteti ne razlikuju od onih dobivenih od nezaštićenih umjetnina (vidi sliku 1 za ilustrativni primjer).
Pokazujemo da postojeći alati za zaštitu samo daju lažan osjećaj sigurnosti. Naše robusne metode mimikrije ne zahtijevaju razvoj novih alata ili metoda finog podešavanja, već samo pažljivo
kombinirajući standardne tehnike obrade slike koje su već postojale u vrijeme kada su ti zaštitni alati prvi put uvedeni!. Stoga vjerujemo da su čak i niskokvalificirani krivotvoritelji mogli lako zaobići ove alate od njihovog početka.
Iako procjenjujemo specifične alate za zaštitu koji danas postoje, ograničenja zaštite stilske mimike su inherentna. Umjetnici su nužno u nepovoljnijem položaju budući da moraju prvi djelovati (tj. kada netko preuzme zaštićenu umjetnost, zaštita se više ne može promijeniti). Kako bi bili učinkoviti, zaštitni alati suočavaju se s izazovnim zadatkom stvaranja poremećaja koji se prenose na bilo koju tehniku finog podešavanja, čak i one koje se u budućnosti odabiru adaptivno. Sličan zaključak izveli su Radiya-Dixit i sur. (Radiya-Dixit et al., 2021.), koji su tvrdili da kontradiktorne smetnje ne mogu zaštititi korisnike od sustava za prepoznavanje lica. Stoga upozoravamo da kontradiktorne tehnike strojnog učenja neće moći pouzdano zaštititi umjetnike od mimikrije generativnog stila i potičemo razvoj alternativnih mjera za zaštitu umjetnika.
Otkrili smo svoje rezultate pogođenim zaštitnim alatima prije objave, kako bi mogli odrediti najbolji tijek radnje za postojeće korisnike.
Ovaj papir je