Orodha ya kulia Abstract and Introduction Background & Related Work 2.1 Text-to-Image Diffusion Model 2.2 Watermarking Techniques 2.3 Preliminary 2.3.1 [Problem Statement](https://hackernoon.com/preview/2x1yHRqHVmhjmOG0ig2c) 2.3.2 [Assumptions](https://hackernoon.com/preview/2x1yHRqHVmhjmOG0ig2c) 2.4 Methodology 2.4.1 [Research Problem](https://hackernoon.com/preview/2x1yHRqHVmhjmOG0ig2c) 2.4.2 [Design Overview](https://hackernoon.com/preview/2x1yHRqHVmhjmOG0ig2c) 2.4.3 [Instance-level Solution](https://hackernoon.com/preview/2x1yHRqHVmhjmOG0ig2c) 2.5 Statistical-level Solution Experimental Evaluation 3.1 Settings 3.2 Main Results 3.3 Ablation Studies 3.4 Conclusion & References 2 Nyuma ya kazi na kazi zinazohusiana 2.1 Mfano wa Upatikanaji wa maandishi kwa picha Kwa ujumla, mifano ya data ya maandishi kwa picha ni aina ya mifano ya generative ya hali ambayo ina lengo la kuunda picha kulingana na maelezo ya maandishi kupitia mifano ya generative. Wao ni mafunzo na data katika fomu ya pande za picha-text. Katika makala hii, tunachukua hali-of-theart maandishi-to-image mfano, yaani, Stable Diffusion (SD) [17], ili kuunda prototype mbinu yetu. Hata hivyo, kumbuka kwamba mbinu yetu inaweza kutumika kulinda aina nyingine ya mifano. Stable Diffusion (SD) [17] ni mfano wa latent diffusion mfano (LDM). SD hasa ina modules tatu: (1) maandishi encoder module W : inachukua ujumbe wa maandishi P, na encodes yake katika maandishi yanayohusiana kuingiza c = W (P (2)); Auto Lengo la kujifunza mfano huu wa usambazaji wa hali (kulingana na wanandoa wa mafunzo ya picha na hali (x, c)) ni kama ifuatavyo: Baada ya denoising, muonekano wa latent z ni decoded katika picha na D. 2.2 Teknolojia ya maji Utafiti wa hivi karibuni unaonyesha matumizi ya mbinu za maji kama ulinzi dhidi ya matumizi mabaya ya data iliyotengenezwa. Mbinu hizi husaidia kutambua mifano ya copy-paste [11, 28] au mifano ambayo inathiriwa na mashambulizi ya uchimbaji [8, 13]. Kwa kawaida, alama hizi za maji huingizwa katika mfano wakati wa awamu ya mafunzo au katika uzalishaji wakati wa awamu ya uzalishaji. Njia moja ya kawaida inahusisha kutumia triggers nyuma kama watermarks. Hii husaidia kutambua mifano ambayo moja kwa moja kutumia uzito wa mfano wa chanzo [1]. Utafiti wa hivi karibuni pia umeonyesha kwamba mifano ya usambazaji wa maandishi kwa picha inaweza kuwa na hatari kwa mashambulizi ya nyuma [4, 5, 11, 24, 28]. Hata hivyo, haya trigger-based watermarks inaweza kuondolewa kwa urahisi chini ya mashambulizi ya uchimbaji wa mfano kutokana na ukosefu wa uzito na ukosefu wa nyuma. Ili kupambana na hili, Jia et al. [8] ilipendekeza kuunganisha mawakala kutoka mafunzo ya data na watermarks. Lv et al. [13] ilizindua wazo hili kwa ajili ya mifano ya kujifunza yenye ufuatiliaji, kupunguza mahitaji ya waathirika na Watermarking during the training phase. Inahusisha kurekebisha matokeo ya mfano ili kuingiza alama za maji ya kipekee za mmiliki wa mfano. Kwa mifano ya kuzalisha msimbo wa LLM, Li et al. [10] ilijenga alama za maji maalum kwa kubadilisha alama katika msimbo uliotengenezwa na mbadala za sinonim kutoka kwa lugha ya programu. Kwa hiyo, mfano wowote unaotokana na mashambulizi ya uchimbaji utachukua mtindo huo wa coding na kuzalisha msimbo wa alama za maji unaoweza kufuatiliwa na chanzo cha data ya awali. Watermarking during generation phase. Hivi sasa, mbinu za watermarking bado hazijatazamiwa kwa uwezo wao wa kukabiliana na kazi ya usambazaji wa data ya mafunzo (tazama Sehemu ya 4.1). Zaidi ya hayo, kutumia mbinu hizi zinaweza kusababisha kupungua kwa ubora wa data zinazozalishwa na mfano [28]. Zaidi ya hayo, mbinu hizi zinaweza kupunguza ubora wa data zinazozalishwa na mfano [28], na mara nyingi zinahitaji ujuzi maalum wa usalama wa utekelezaji wakati wa maendeleo ya mfano. 2.3 Utaratibu wa awali 2.3.1 Ufafanuzi wa tatizo Tunajifunza mfano mzuri wa chanzo cha maandishi kwa picha kama MS. Mfano wa chanzo unajifunza na idadi kubwa ya vifungu vya ubora wa "text-image", vinavyojulikana kama {TXTt , IMGt }. Wakati wa hatua ya inference, inaweza kuzalisha img, kulingana na barua ya utaratibu txt, yaani, Mfano wa chanzo. Mwisho, mpinzani anaweza kuwa na lengo la kufundisha mfano wake wa maandishi kwa picha ili kutoa huduma za mtandaoni kwa faida ya kiuchumi. Mwisho anaweza kwa urahisi kupata usanifu wa mfano wa chanzo cha wazi, ambayo inaweza kuwa sawa na mfano wa chanzo au hauwezi kuwa. Mwisho hauna wanandoa wa "maelezo ya maandishi" wa ubora wa kutosha ili kufundisha mfano mzuri. Anaweza kuandaa dataset ya mafunzo kwa njia zifuatazo. Mwisho huandaa seti ya maandishi ya TXTA, na anauliza MS na seti ya maandishi, na kukusanya IMGA inayofaa iliyotolewa na MS. Kisha, mpinzani hufundisha mfano wake wa MA na wanandoa wa data zilizotengenezwa. Kama watumiaji anasema katika sura ya 2, Mfano wa ukiukwaji wa kigaidi mpinzani anapotosha data iliyotengenezwa, na haki ya mfano wa chanzo inashindwa. Kumbuka kwamba wakati ρ ni sawa na 1, mpinzani usiojulikana anakuwa mpinzani mkali. Kwa hiyo, kwa urahisi, tunatumia alama zifuatazo kuwakilisha aina hizi mbili za wapinzani, yaani, Kwa ajili ya hadithi ngumu, sisi kufafanua mfano usio na hatia, inayojulikana kama MIn, ambayo hutoa huduma sawa na mfano wa chanzo, lakini data yake ya mafunzo haina uhusiano wowote na data iliyotengenezwa na MS. Mfano wa kipekee. 3.2 Matatizo ya Hapa tunafanya mapendekezo ya busara ili kuelezea vizuri hali yetu ya kazi. Mfumo wa mfano na algorithm ya mafunzo ya mfano wa MS inaweza kuwa chanzo cha wazi. mmiliki wa mfano wa chanzo wa MS hawana ujuzi wowote wa usalama, hivyo haina watermark data yoyote ya mafunzo wakati wa mafunzo ya mfano wala kurekebisha matokeo ya mfano katika hatua ya inference kwa madhumuni ya watermarking. Swali la wasiwasi mkubwa kwa mmiliki wa mfano, kama ilivyoonyeshwa katika sura ya 2 ni kama data iliyotengenezwa na MS imekuwa kutumika kwa ajili ya mafunzo ya mfano mwingine. mmiliki wa mfano wa chanzo ana ujuzi kamili wa usanifu wa mfano na vigezo na anaweza kufikia data yote ya mafunzo ya MS. About the source model and its owner. Tunadhani kwamba mchakato wa mafunzo wa mfano wa chanzo unaweza kuhusisha data ya umma na data ya kibinafsi.Kwa hiyo, data iliyotengenezwa inaweza kuwa na mifano inayohusiana na data ya umma na ya kibinafsi. Makala hii inazungumzia utoaji wa data iliyotengenezwa inayohusiana na data binafsi. Mfano wa mashaka M ni katika mazingira ya sanduku nyeusi. Mfano wa mashaka inaweza kushiriki usanifu wa mfano huo kama mfano wa chanzo. Utendaji wa mfano wa mashaka pia unapatikana, ambayo ni muhimu kwa mtumiaji wa kawaida kutumia mfano wa mashaka. Inatoa tu interface ya kuuliza tu kwa watumiaji kufanya uchunguzi. About the suspicious model. 2.4 Utaratibu wa 4.1 Matatizo ya utafiti Tunafafanua kazi ya "kuamua kama kipande cha data kinatokea na mfano fulani" kama utambulisho wa data ya moja kwa moja. Dhana hii inafunuliwa katika sura ya 3. Utambulisho wa data ya moja kwa moja unapata tahadhari katika chuo kikuu [11, 28] na mitindo ya sekta [16, 17]. Kuangalia uwepo wa watermark fulani kwenye data iliyotengenezwa ni utaratibu wa utambulisho wa data ya moja kwa moja. Kazi yetu inazingatia utambulisho wa shinikizo mbili, yaani, tunatarajia kuamua kama Model B imefundishwa kwa kutumia data zinazozalishwa na Model A. Katika mazingira haya, data zinazozalishwa na Model A haiwezi kuhesabiwa, na data iliyozalishwa haijatengenezwa na alama za maji. Kazi hii imevutia tahadhari ya hivi karibuni, na Han et al. [6] alifanya utafiti wa awali juu ya kama data ya mafunzo ya mfano wa utambulisho hutengenezwa na mfano maalum wa GAN katika mazingira ya ukiukwaji mkali kama ilivyoelezwa katika Sehemu 3. Kulinganisha na jitihada zilizopo, kazi yetu inachukua jitihada ngumu zaidi chini ya mazingira ya uzalishaji wa ulimwengu halisi. Kwanza, tunachunguza mfano wa hatari zaidi. Tunachunguza sio tu mfano wa ukiukwaji wa kigaidi lakini pia mazingira yasiyo ya kutosha. Tunasema kwamba mazingira yasiyo ya kutosha ni ya kawaida, hasa wakati watengenezaji wengi wanaweza tu kukusanya kiasi kidogo cha data ili kurekebisha mifano yao badala ya mafunzo kutoka chini. Pili, tunachunguza mada ngumu zaidi. Masomo ya awali yalijaribu mifano ya chanzo na mitandao rahisi ya GAN, na mfano wa mashaka ulikuwa mfano wa usambazaji wa maneno ya kufungwa. Hata hivyo, katika utafiti wetu, mfano wa chanzo na mfano wa mashaka wote ni mifano yasiyo ya 2.4.2 Maelezo ya muundo Kama ilivyoonyeshwa katika sura ya 3, ndani ya mazingira ya utambulisho wa shinikizo mbili, data iliyotumika kutumika kufundisha Model B ni agnostic. Kwa hiyo, ili kutatua utambulisho wa data ya shinikizo mbili, tunahitaji kuunda uhusiano kati ya Model B na Model A. Hii ni sawa na kazi katika uwanja wa mashambulizi ya uchimbaji wa mifano [12, 19, 27]. ambapo x ∼ X ni input yoyote kutoka kwa usambazaji wa X, na ε ni nambari ndogo chanya, ambayo inamaanisha makosa ya uchapishaji. Kutokana na majukumu ya uchapishaji wa mfano, tunajifunza kazi ya usambazaji wa mashambulizi mawili katika sura ya 4. Mfano unaoingiliaji anaweza au kikamilifu (yaani, mipangilio ya kigaidi) au sehemu (yaani, mipangilio yasiyo ya kutosha) duplicate usambazaji wa mfano wa chanzo. ufahamu wetu wa kwanza katika kukabiliana na wasiwasi huu ni kutambua usambazaji uliochapishwa unaopo katika mfano wa shaka. , tunatarajia kutambua mfano unaosababishwa kwa kupima ujasiri wa utambulisho katika seti ya matukio. Kuongozwa na usawa wa 5, tunatumia seti ya sampuli muhimu ili kutafuta mifano ya chanzo na mashaka, kisha kupima usawa wa majibu yao. changamoto ni katika uteuzi wa sampuli muhimu. Tutaelezea juu ya hili katika Sehemu ya 4.3. At instance level , tunalenga kupima tofauti za tabia kati ya mfano usio na hatia na mfano wa ukiukwaji. Tunafikiri kwamba, kutokana na input kutoka usambazaji wa mfano wa chanzo, kutakuwa na tofauti kubwa ya utendaji kati ya mifano ya ukiukwaji na ukiukwaji. changamoto hapa ni kuendeleza mbinu ambayo inathiri tofauti hii kwa usahihi. At statistical level Ufanisi wa ufumbuzi wa kiwango cha mfano unategemea uwezekano wa kupata sampuli ambazo zinaweza kuonyesha usambazaji wa data ya mafunzo ya mifano ya chanzo. Ina ufafanuzi bora. Wakati ufumbuzi wa kiwango cha takwimu ni mdogo katika ufafanuzi, inawezesha utoaji wa kina zaidi, na hivyo usahihi bora. Kwa hiyo, katika vitendo, tunapendekeza watumiaji kuchagua kulingana na mahitaji yao maalum. 2.4.3 Uamuzi wa kiwango cha instance Jambo la msingi la ufumbuzi wa kiwango cha mfano ni kurekodi subdistributions zinazoshirikiana kati ya chanzo na mifano ya shaka (Hesabu ya 4). Katika mazingira haya, tunatumia {X1, . . , Xn} kuelezea subdistributions ya mfano wa chanzo. Subdistributions ya mfano wa shaka, ambayo ni kushirikiana na mfano wa chanzo, ni kuwakilishwa kama {X1, . . , Xm}. Ni muhimu kutambua kwamba wakati m ni sawa na n, mfano wa shaka unachukuliwa kama mfano wa shaka. Ikiwa m ni chini ya n, inamaanisha mfano wa shaka isiyojulikana. Kwa upande mwingine, ikiwa m ni sawa na 0, inamaanisha kwamba mfano wa shaka hauna subdistributions na chanzo cha mfano, inachukuliwa kama mfano wa dhaifu. Kama ilivyo mfano ni ya kibinafsi kwa mmiliki wa mfano, maana wengine hawawezi kufikia data hii au data yoyote kutoka usambazaji huo kwa njia halali. Suluhisho la kiwango cha instance linaweza kuwa rasmi kama ifuatavyo: ambapo conf ni uhakika wa kama mfano wa shaka M ni ukiukwaji. muhtasari unaonyesha matatizo mawili: 1) jinsi ya kuandaa input x, kwa sababu sampuli kutoka usambazaji Xi haiwezi kuwa kamilifu. 2) jinsi ya kubuni metric ya utoaji f. Kisha, tunatoa mikakati miwili ya kuandaa input ya utoaji, na kubuni ya kina ya metric ya utoaji. Wazo nyuma ya kuandaa data ya kuingia ni kama seti ya mifano X inaweza kupunguza makosa ya uzalishaji wa mfano wa chanzo MS, basi mifano hizi X ni uwezekano wa kuhusika na usambazaji wa chini uliojifunza na MS. Kwa hiyo, kama mifano hizi X pia kupunguza makosa ya uzalishaji juu ya mfano wa shaka, inaonyesha kwamba mifano hii pia imefundishwa juu ya usambazaji wa chini huo. Hii inasababisha matokeo kwamba mfano wa shaka unashikilia mfano wa chanzo, kwa sababu tunadhani kwamba tu mmiliki wa mfano wa chanzo anachukua data katika usambazaji huu. Hili ni dhahiri na halisi. Ikiwa mifano inapatikana kwa urahisi kutoka kwa usambazaji wa umma na sio binafsi kwa mmiliki wa MS, hakuna sababu kubwa ya kufuatilia Utekelezaji wa Input Preparation Tunaendeleza mikakati miwili ya kuandaa sampuli muhimu, yaani, mkakati wa msingi wa uchunguzi na mkakati wa msingi wa kizazi. Tunaelezea mikakati hizi mbili katika sura ya 5. Mkakati wa msingi wa uchunguzi unalenga kutambua seti ya msingi ndani ya dataset ya mafunzo ya MS ambayo inapunguza makosa ya uzalishaji, ambayo inafanya kazi kama sampuli za uwakilishi wa usambazaji wa mfano. Mkakati huu ni haraka na hauhitaji mafunzo yoyote. Mkakati wa msingi wa uzalishaji unazingatia kuunda sampuli kutoka kwa mfano wa chanzo wa MS ambayo inaweza kupunguza makosa ya uzalishaji. ambayo inaweza kupunguza makosa ya uzalishaji. Mkakati huu hutoa nafasi ya sampuli zaidi na usahihi bora ikilinganishwa na mkakati wa msingi wa uchunguzi. Katika mkakati huu, tunaanza kwa kuingiza maombi yote ya maandishi ya TXT kutoka kwa dataset ya mafunzo ya mfano wa chanzo kwenye mfano wa chanzo wa MS. Kutoka hili, tunazalisha picha za IMGgen. Kisha, tunatumia alama ya SSCD [15] kulinganisha utofauti kati ya IMGgen na picha zao za msingi za IMGgt. alama ya SSCD ni kipimo cha hali ya juu cha utofauti wa picha kinachotumiwa sana katika uchunguzi wa picha za nakala[22, 23]. Tunachagua mifano ya N na alama kubwa ya utofauti kama sampuli muhimu: Detection-based strategy Katika mfano wa maandishi kwa picha, kuna vipengele viwili: encoder ya maandishi na decoder ya picha. Kwa mkakati huu maalum, tunapaswa kuanza kwa kuchagua kikundi cha maombi ya maandishi kutoka kwa mkusanyiko wa data ya mafunzo ya mfano wa chanzo. Tunazungumzia haya kama maombi ya mbegu. Kila kipengele cha maandishi kilichochaguliwa (ambayo tunamaanisha kama txt) kina tokens n, yaani, txt = [tok1, tok2, . . . , tokn]. Hatua inayofuata ni kutumia encoder ya maandishi ya mfano wa chanzo kurekebisha kila token ya txt katika fomu iliyowekwa, kuzaa c = [c1, c2, ..., cn]. Baada ya hatua hii ya kuingizwa, tunatengeneza c juu ya iterations ili kupata kuingizwa upya, c′ Generation-based strategy Baada ya kufikia uongofu, tunabadilisha uongofu unaoendelea wa maandishi uongofu wa c ′ nyuma kwa uongofu wa token tofauti. Ili kufanya hivyo, tunapata uongofu wa neno karibu zaidi (ambayo hutumiwa kama c ∗ katika maneno. Hata hivyo, kwa sababu tunachukua uongofu kwenye kiwango cha neno, baadhi ya uongofu wa uongofu unaofaa huenda hauna maana. Ili kukabiliana na tatizo hili, tunatumia utaratibu wa baada ya uongofu kwa uongofu unaojulikana. Tunakadiria umbali wa kuingilia kati ya uongofu uliopo c ∗ na uongofu wake wa mbegu unaohusiana c. Kisha tunahifadhi uongofu wa juu wa N, wale wenye umbali mdogo wa kuing Sasa tunatumia utofauti kati ya matokeo ya chanzo na mfano wa shaka uliotokana na sampuli muhimu ili kuonyesha metric f katika Ecuation 6. Utambulisho wa Metric kwa ufumbuzi wa kiwango cha instance. 2.5 Uchambuzi wa kiwango cha takwimu Tunatumia mbinu ya mfano wa shadow kutoka kwa mashambulizi ya ufuatiliaji wa wanachama [21] kukusanya data za mafunzo zilizotajwa kwa fD. Inahusisha hatua zifuatazo: Waandishi wa: 1) Msisemi Shaykh Rabiy ́ ni b) wa wa wa wa wa 3) Kichwa cha Zhang; 4) Msisemi Shaykh Rabiy ́ ni 5 ya Jin Cao; 6) Fenghua Li; 7 Mimi ni mwanamume wa kwanza. Authors: 1) Msisemi Shaykh Rabiy ́ ni b) wa wa wa wa wa 3) Kichwa cha Zhang; 4) Msisemi Shaykh Rabiy ́ ni 5 ya Jin Cao; 6) Fenghua Li; 7 Mimi ni mwanamume wa kwanza. Makala hii inapatikana kwenye archiv chini ya leseni ya CC BY 4.0. Makala hii ni chini ya leseni ya CC BY 4.0. Upatikanaji wa Archives
