Аўтары:
(1) Роберт Хоніг, ETH Zurich ([email protected]);
(2) Хаўер Ранда, ETH Zurich ([email protected]);
(3) Нікалас Карліні, Google DeepMind;
(4) Фларыян Трамер, ETH Zurich ([email protected]).
А. Падрабязныя мастацкія прыклады
B. Надзейныя мімікрыі Пакаленні
D. Адрозненні з Glaze Finetuning
H. Існуючая абарона ад мімікрыі стылю
Ж. Эксперыментальная ўстаноўка
К. Даследаванне карыстальнікаў
Мастакі ўсё больш занепакоеныя прагрэсам у мадэлях генерацыі вобразаў, якія могуць дакладна паўтараць іх унікальныя мастацкія стылі. У адказ на гэта было распрацавана некалькі інструментаў абароны ад мімікрыі стылю, якія ўключаюць невялікія спаборніцкія пертурбацыі ў мастацкія творы, апублікаваныя ў Інтэрнэце. У гэтай працы мы ацэньваем эфектыўнасць папулярных сродкаў абароны — з мільёнамі загрузак — і паказваем, што яны ствараюць толькі ілжывае пачуццё бяспекі. Мы лічым, што простых і стандартных метадаў, такіх як маштабаванне выявы, дастаткова для стварэння надзейных метадаў мімікрыі, якія значна пагаршаюць існуючую абарону. Даследуючы карыстальнікаў, мы дэманструем, што ўсе існуючыя сродкі абароны можна лёгка абыйсці, робячы мастакоў уразлівымі да стылявой мімікрыі. Мы папярэджваем, што інструменты, заснаваныя на спаборніцкіх пертурбацыях, не могуць надзейна абараніць мастакоў ад няправільнага выкарыстання генератыўнага штучнага інтэлекту, і заклікаем распрацаваць альтэрнатыўныя ахоўныя рашэнні.
Мімікрыя стылю - папулярнае прымяненне генератыўных мадэляў пераўтварэння тэксту ў відарыс. Улічваючы некалькі малюнкаў ад мастака, мадэль можна наладзіць для стварэння новых малюнкаў у гэтым стылі (напрыклад, касмічны карабель у стылі Ван Гога). Але стылёвая мімікрыя можа нанесці значную шкоду пры няправільным выкарыстанні. У прыватнасці, многія сучасныя мастакі непакояцца, што іншыя цяпер могуць ствараць выявы, якія капіруюць іх унікальны мастацкі стыль, і патэнцыйна могуць выкрасці кліентаў (Heikkila¨, 2022). У якасці адказу было распрацавана некалькі мер абароны, каб абараніць мастакоў ад стылявой мімікрыі (Shan et al., 2023a; Van Le et al., 2023; Liang et al., 2023). Гэтыя меры абароны дадаюць канкурэнтныя пературбацыі да малюнкаў, якія мастакі публікуюць у інтэрнэце, каб перашкаджаць працэсу тонкай налады. Гэтыя меры абароны атрымалі значную ўвагу з боку сродкаў масавай інфармацыі — з артыкуламі ў New York Times (Hill, 2023), CNN (Thorbecke, 2023) і Scientific American (Leffer, 2023) — і былі спампаваны больш за 1 мільён разоў (Shan et al. , 2023a).
Тым не менш, незразумела, у якой ступені гэтыя інструменты насамрэч абараняюць мастакоў ад мімікрыі стылю, асабліва калі хтосьці актыўна спрабуе іх абыйсці (Radiya-Dixit et al., 2021). У гэтай працы мы паказваем, што самыя сучасныя інструменты абароны стылю — Glaze (Shan et al., 2023a), Mist (Liang et al., 2023) і Anti-DreamBooth (Van Le et al., 2023) — неэфектыўныя, калі сутыкаюцца з простымі надзейнымі метадамі мімікрыі. Надзейныя метады мімікрыі, якія мы разглядаем, вар'іруюцца ад стратэгій з нізкім узроўнем высілкаў - такіх як выкарыстанне іншага сцэнарыя тонкай наладкі або даданне шуму Гаўса да малюнкаў перад навучаннем - да шматэтапных стратэгій, якія спалучаюць стандартныя інструменты. Мы пацвярджаем нашы вынікі з дапамогай даследавання карыстальнікаў, якое паказвае, што надзейныя метады мімікрыі могуць даць вынікі, неадрозныя па якасці ад атрыманых з неабароненых твораў мастацтва (гл. Малюнак 1 для ілюстрацыйнага прыкладу).
Мы паказваем, што існуючыя сродкі абароны проста ствараюць ілжывае пачуццё бяспекі. Нашы надзейныя метады мімікрыі не патрабуюць распрацоўкі новых інструментаў або метадаў тонкай налады, але толькі старанна
спалучэнне стандартных метадаў апрацоўкі малюнкаў, якія ўжо існавалі ў той час, калі гэтыя сродкі абароны былі ўпершыню прадстаўлены!. Такім чынам, мы лічым, што нават нізкакваліфікаваныя фальсіфікатары маглі лёгка абысці гэтыя інструменты з моманту іх стварэння.
Нягледзячы на тое, што мы ацэньваем пэўныя інструменты абароны, якія існуюць сёння, абмежаванні абароны ад стылявой мімікрыі ўласцівыя. Мастакі абавязкова знаходзяцца ў нявыгадным становішчы, паколькі яны павінны дзейнічаць першымі (г.зн., як толькі хтосьці спампоўвае абаронены твор, абарону больш нельга будзе змяніць). Каб быць эфектыўнымі, ахоўныя інструменты сутыкаюцца са складанай задачай стварэння абурэнняў, якія перадаюцца любой тэхніцы тонкай налады, нават той, якая будзе выбрана адаптыўна ў будучыні. Да падобнай высновы прыйшлі Radiya-Dixit і соавт. (Radiya-Dixit et al., 2021), які сцвярджаў, што спаборніцкія пертурбацыі не могуць абараніць карыстальнікаў ад сістэм распазнання твараў. Таму мы папярэджваем, што спаборніцкія метады машыннага навучання не змогуць надзейна абараніць мастакоў ад генератыўнай мімікрыі стылю, і заклікаем распрацаваць альтэрнатыўныя меры для абароны мастакоў.
Мы раскрылі нашы вынікі закранутым інструментам абароны перад публікацыяй, каб яны маглі вызначыць найлепшы курс дзеянняў для існуючых карыстальнікаў.
Гэта папера