Nouvo etid montre AI kapab kounye a imite estil atizay plis presizyon pase tout tan

Tablo Lyen yo

Abstract ak 1. Entwodiksyon

2. Jan nou koumanse ak travay ki gen rapò

3. Modèl menas

4. Gwan Style Mimicry

5. Enstalasyon eksperimantal

6. Rezilta yo

   6.1 Konklizyon prensipal yo: Tout pwoteksyon yo fasilman kontourne

   6.2 Analiz

7. Diskisyon ak pi gwo enpak, rekonesans, ak referans

A. Egzanp Atizay Detaye

B. Jenerasyon mimik solid

C. Rezilta Detaye

D. Diferans ak Glaze Finetuning

E. Konklizyon sou Glaze 2.0

F. Konklizyon sou Mist v2

G. Metòd pou Style Mimicry

H. Pwoteksyon Mimicry Style ki egziste deja

I. Metòd mimik solid

J. Enstalasyon eksperimantal

K. Etid itilizatè

L. Kalkile Resous

4 Mimik Style solid

Nou di ke yon metòd mimicry style solid si li ka imite style yon atis lè l sèvi avèk sèlman travay atistik pwoteje. Pandan ke yo te deja pwopoze metòd pou imite solid, nou remake yon kantite limit nan metòd sa yo ak evalyasyon yo nan Seksyon 4.1. Apre sa, nou pwopoze pwòp metòd pa nou (Seksyon 4.3) ak evalyasyon (Seksyon 5) ki adrese limit sa yo.

4.1 Limitasyon Metòd Imitasyon solid anvan yo ak Evalyasyon yo

(1) Gen kèk pwoteksyon mimik pa jeneralize nan tout konfigirasyon finetuning . Pifò falsifikatè yo nannan move entansyon paske yo inyore demann otantik atis yo pou yo pa sèvi ak atizay yo pou AI jeneratif (Heikkila¨, 2022). Yon pwoteksyon siksè dwe konsa reziste tantativ kontourne soti nan yon falsifikatè resous rezonab ki ka eseye soti yon varyete de zouti. Men, nan eksperyans preliminè, nou te jwenn ke Glaze (Shan et al., 2023a) te fè siyifikativman pi mal pase te reklame nan evalyasyon orijinal la, menm anvan aktivman eseye kontourne li. Apre diskisyon ak otè Glaze yo, nou te jwenn ti diferans ki genyen ant script finetuning ki pa nan etajè nou an, ak sa ki te itilize nan evalyasyon orijinal Glaze (ki otè yo te pataje avèk nou).[1] Diferans minè sa yo nan ajisteman yo ase pou degrade pwoteksyon Glaze yo anpil (gade Figi 2 pou egzanp kalitatif). Piske script afine afine nou an pa t fèt pou kontourne pwoteksyon imitasyon style yo, rezilta sa yo deja allusion sou pwoteksyon supèrfisyèl ak frajil zouti ki egziste deja yo bay: atis pa gen okenn kontwòl sou script afine réglage oswa ipèparamèt yon falsifikatè ta itilize, kidonk pwoteksyon. dwe solid nan tout chwa sa yo.

(2) Tantativ imite solid ki egziste deja yo pa pi bon. Evalyasyon anvan yo nan pwoteksyon yo pa reflete kapasite yo nan falsifikatè modere resous, ki anplwaye metòd eta-of-atizay la (menm sa yo ki pa nan etajè). Pou egzanp, Mist (Liang et al., 2023) evalye kont pirifikasyon DiffPure lè l sèvi avèk yon modèl pirifikasyon demode ak rezolisyon ki ba. Sèvi ak DiffPure ak yon modèl ki pi resan, nou obsève amelyorasyon enpòtan. Glaze (Shan et al., 2023a) pa evalye kont nenpòt vèsyon DiffPure, men reklamasyon pwoteksyon kont Upscaling Compressed, ki premye konprese yon imaj ak JPEG ak Lè sa a, upscale li ak yon modèl devwe. Men, nou pral montre ke lè nou tou senpleman chanje konpresyon JPEG a ak bwi Gaussian, nou kreye Noisy Upscaling kòm yon variant ki gen anpil siksè nan retire pwoteksyon mimik (gade Figi 26 pou yon konparezon ant tou de metòd).

(3) Evalyasyon ki egziste deja yo pa konplè. Konpare solidite pwoteksyon anvan yo se yon defi paske evalyasyon orijinal yo itilize diferan seri atis, envit, ak konfigirasyon finetuning. Anplis, kèk evalyasyon konte sou mezi otomatik (egzanp, CLIP resanblans) ki pa fyab pou mezire mimik style (Shan et al., 2023a,b). Akòz frajil nan metòd pwoteksyon yo ak subjectivite nan evalyasyon mimicry, nou kwè yon evalyasyon inifye nesesè.

4.2 Yon Evalyasyon inifye ak rijid nan metòd mimik solid

Pou abòde limit yo prezante nan Seksyon 4.1, nou prezante yon pwotokòl evalyasyon inifye pou evalye yon fason fyab fason pwoteksyon ki egziste yo mache kont yon varyete metòd imitasyon ki senp ak natirèl solid. Solisyon nou yo pou chak nan limit nimewo ki anwo yo se: (1) Atakè a sèvi ak yon script afine popilè "ki pa nan etajè" pou modèl sous ouvè ki pi solid ke tout pwoteksyon pretann efikas pou: Stable Diffusion 2.1. Se script finetuning sa a chwazi poukont nenpòt nan pwoteksyon sa yo, epi nou trete li kòm yon bwat nwa. (2) Nou desine kat metòd imitasyon solid, ki dekri nan Seksyon 4.3. Nou bay priyorite senplisite ak fasilite pou itilize pou atakè ki pa gen anpil eksperyans lè nou konbine yon varyete de zouti ki disponib. (3) Nou konsevwa epi fè yon etid itilizatè pou evalye chak pwoteksyon mimik kont chak metòd mimik solid sou yon seri atis ak envit komen.

4.3 Metòd mimik solid nou yo

Kounye a nou dekri kat metòd imitasyon solid ke nou fèt pou evalye solidite pwoteksyon yo. Nou prensipalman priyorite metòd senp ki sèlman mande pou pre-traitement imaj pwoteje. Metòd sa yo prezante yon pi gwo risk paske yo pi aksesib, yo pa bezwen ekspètiz teknik, epi yo ka itilize nan senaryo bwat nwa (egzanp si yo bay finetuning kòm yon sèvis API). Pou konplè, nou pwopoze plis yon metòd bwat blan, enspire pa IMPRESS (Cao et al., 2024).

Nou remake ke metòd nou pwopoze yo te konsidere (omwen an pati) nan travay anvan yo ki te jwenn yo pa efikas kont pwoteksyon style mimicry (Shan et al., 2023a; Liang et al., 2023; Shan et al., 2023b). ). Poutan, jan nou te note nan Seksyon 4.1, evalyasyon sa yo te soufri yon kantite limit. Se konsa, nou re-evalye metòd sa yo (oswa varyant ti tay ladan l) epi yo pral montre ke yo gen plis siksè siyifikativman pase anvan reklame.

Bwat nwa metòd pre-traitement.

✦ Bwi Gaussien . Kòm yon etap senp pre-pwosesis, nou ajoute ti kantite bri Gaussian nan imaj pwoteje. Apwòch sa a ka itilize devan nenpòt modèl difizyon nwa-bwat.

✦ DiffPure . Nou itilize modèl imaj-a-imaj pou retire twoub pwoteksyon yo te entwodwi, yo rele tou DiffPure (Nie et al., 2022) (gade Apendis I.1). Metòd sa a se nwa-bwat, men mande pou de modèl diferan: purifikateur a, ak youn nan yo itilize pou imite style. Nou itilize Stable Diffusion XL kòm purifikateur nou an.

✦ Bwi Upscaling . Nou prezante yon variant senp ak efikas nan pirifikasyon upscaling de etap konsidere nan Glaze (Shan et al., 2023a). Metòd yo premye fè konpresyon JPEG (pou misyon pou minimize perturbasyon) ak Lè sa a, sèvi ak Stable Diffusion Upscaler la (Rombach et al., 2022) (pou bese degradasyon nan bon jan kalite). Men, nou jwenn ke upscaling aktyèlman agrandi zafè konpresyon JPEG olye pou yo retire yo. Pou konsepsyon yon pi bon metòd pou pirifye, nou obsève ke Upscaler a resevwa fòmasyon sou imaj ogmante ak bri Gaussian. Se poutèt sa, nou pirifye yon imaj pwoteje pa premye aplike bri Gaussian ak Lè sa a, aplike Upscaler la. Metòd Bwi Upscaling sa a pa entwodui okenn zafè pèseptib epi li redwi anpil pwoteksyon (gade Figi 26 pou yon egzanp ak Apendis I.2 pou plis detay).

Metòd blan-bwat.

✦ IMPRESS ++. Pou konplè, nou desine yon metòd blan-bwat pou evalye si metòd ki pi konplèks yo ka amelyore plis solidite nan mimik style. Metòd nou an baze sou IMPRESS (Cao et al., 2024), men li adopte yon fonksyon pèt diferan epi li aplike plis enpresyon negatif (Miyake et al., 2023) ak denoising pou amelyore solidite pwosedi echantiyon an (gade Apendis I.3 ak Figi). 27 pou plis detay).

[1] De script finetuning yo sitou diferan nan chwa bibliyotèk, modèl, ak hyperparameters. Nou itilize yon script HuggingFace estanda ak Stable Diffusion 2.1 (modèl evalye nan papye Glaze).