Тавтай мод Abstract and Introduction Background & Related Work 2.1 Text-to-Image Diffusion Model 2.2 Watermarking Techniques 2.3 Preliminary 2.3.1 [Problem Statement](https://hackernoon.com/preview/2x1yHRqHVmhjmOG0ig2c) 2.3.2 [Assumptions](https://hackernoon.com/preview/2x1yHRqHVmhjmOG0ig2c) 2.4 Methodology 2.4.1 [Research Problem](https://hackernoon.com/preview/2x1yHRqHVmhjmOG0ig2c) 2.4.2 [Design Overview](https://hackernoon.com/preview/2x1yHRqHVmhjmOG0ig2c) 2.4.3 [Instance-level Solution](https://hackernoon.com/preview/2x1yHRqHVmhjmOG0ig2c) 2.5 Statistical-level Solution Experimental Evaluation 3.1 Settings 3.2 Main Results 3.3 Ablation Studies 3.4 Conclusion & References 2 Баруун & холбоотой ажил 2.1 Text-to-Image Диффузийн загвар Бүтээгдэхүүний талаарх талаарх талаарх талаарх талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаар Тавтай морилноос диффузийн загварыг суралцахын тулд зорилго (хааралтай зураг-хааралтай сургалтын бүтэц (x, c)) дараах юм: Denoising дараа, латент хувилбар z нь D-ийн зураг дээр decoded байна. 2.2 Усанд хүрэгчдийн техникийн Хамгийн сүүлийн үеийн судалгаа нь үүсгэсэн өгөгдлийн алдартай хэрэглээний эсрэг хамгаалах зорилгоор усны тэмдэглэх техникийг ашиглахыг санал болгож байна. Эдгээр техникиуд нь копи-пасте загварууд [11, 28] эсвэл экстракцийн ачаалалтай загварууд [8, 13] идентичлэхэд тусалдаг. Жишээ нь, эдгээр усны тэмдэглэгээ нь сургалтын үйл явцад загварууд эсвэл үйлдвэрлэлийн үйл явцад идэвхжүүлэхийн тулд загваруудтай байдаг. Энэ нь эх үүсвэр загварыг шууд ашиглах загварууд идентичлэхэд туслах юм [1]. Хамгийн сүүлийн үеийн судалгаа нь текст-аас зураг diffusion загварууд нь задний хавтгай ачаалалтай байж болохыг харуулж байна [4, 5, 11, 24, 28]. Гэсэн хэдий ч, эдгээр хавтгай ачаалал дээр суурилсан усны загварууд загварууд нь жин хатуу болон задний хавтгай байдал нь загварууд удаан ашиглаж болно. Эдгээр эсэргүүцэл хийхэд Jia et al. [8] усны хавтгай ачаалал нь сургалтын өгөгдөлээс олж авсан интерtwining загварууд санал болгож байна. Lv et al. [13] өөрөө хянах суралцах суралцах загварууд зориулсан энэ санааг Watermarking during the training phase. Энэ нь загвар эзэмшигч-ийн өвөрмөц усны хавтан агуулахын тулд загварын outputs өөрчилж агуулдаг. LLM-д суурилсан код үүсгэх загваруудад Li et al. [10] үүсгэгдсэн код дахь токенов нь програмчлалын хэлний синоним альтернатийг өөрчилж, тусгай усны хавтан боловсруулсан. Үүний үр дүнд, экстракцийн хавтан үр дүнтэй ямар ч загварууд нэг кодлох загварыг ашиглаж, эхний өгөгдлийн эх үүсвэрийг дагах боломжтой усны хавтан үүсгэх болно. Watermarking during generation phase. Үнэндээ, усны тэмдэглэх техникиуд нь сургалтын өгөгдлийн хуваалцах үйл ажиллагаа явуулахын тулд тэдний хүчин чадалтай үр дүнтэй мэдэгдэж чадахгүй байна (Тавтай морилно уу 4.1). Үүнээс гадна, эдгээр техникийг хэрэглэх нь загварыг үүсгэсэн өгөгдлийн чанарыг багасгах болно [28]. Үүнээс гадна, эдгээр техникиуд загварыг үүсгэсэн өгөгдлийн чанарыг багасгах боломжтой [28] , загварын хөгжүүлэх үед имплементийг хэрэглэхэд мэргэшсэн аюулгүй байдлын мэдлэг шаарддаг. Бидний арга хэрэгсэл нь үүсгэсэн өгөгдлийн чанарыг багасгахгүйгээр эдгээр асуудлуудыг шийдэхыг хүсч байна. 2.3 Баримтлал 2.3.1 Сэтгэгдэл Бид сайн боловсруулсан текст нь зураг эх сурвалж загварыг MS гэж нэрлэдэг. эх сурвалж загварыг {TXTt , IMGt } гэж нэрлэдэг өндөр чанартай "текст - зураг" парууд нь их хэмжээний боловсруулсан байна. Баримтлын үе шатдаа энэ нь img-ийг үүсгэх болно. Зохиогчийн эрх . Агрессив антагонист нь онлайнаар үйлчилгээг санал болгож авахын тулд өөрийн текст-тай зураг загварыг сургахыг зорилготой байж болох юм. Антагонист нь хялбар алдааны загварын архитектур авах боломжтой бөгөөд энэ нь эх сурвалж загварыг харьцуулах боломжтой, эсвэл биш байж болох юм. Антагонист нь хялбар чанарын "текст-тай зураг" паруудтай байдаг. Энэ нь дараах хэлбэрээр сургалтын өгөгдлийн цуглуулах боломжтой. Антагонист нь тексттэй TXTA цуглуулж, тексттэй MS-ийн цуглуулж, MS-ийн үүсгэсэн харьцуулах IMGA-ийг цуглуулж байна. Дараа нь антагонист нь үүсгэсэн өгөгдлийн цуглуулж өөрийн загварын MA-ийг сургаж Агрессив арилжааны загвар Хүснэгт нь үүсгэсэн өгөгдлийг хэрэглэдэг бөгөөд эхний загварын эрх хуулиар хамгаалагдсан. Хэрэв ρ нь 1, ямар ч ач холбогдолтой оюутнууд нь агрессийн оюутнууд болж байна гэж үзнэ үү. Тиймээс бид дараах хэлбэрээр дараах хоёр төрлийн оюутнууд санал болгож байна: Тохиромжтой хэлбэрийн хувьд бид MIn гэж нэрлэгддэг хязгааргүй загвар, эхний загвартай харьцуулагчтай үйлчилгээг санал болгож байна, гэхдээ түүний сургалтын өгөгдөл нь MS-ийн үүсгэсэн өгөгдөлтэй ямар ч холболтгүй. Үнэгүй загвар 2.3.2 Нийтлэгдсэн Энд бид бидний ажлын үзэсгэлэнт илүү сайн иллюстрацийг бий болгох нь зарим разумтэй ач холбогдол хийх болно. Model MS-ийн загварын архитектур, сургалтын алгоритм нь нээлттэй эх үүсвэртэй байж болох юм. MS-ийн эх үүсвэрний загварын эзэмшигч нь аюулгүй байдлын мэдлэгтэй биш бөгөөд энэ нь загварын сургалтын үед ямар ч сургалтын өгөгдлийг watermarks биш, зайлсхийх үйл явцад загварын идэвхжүүлэлтэд загварын идэвхжүүлэлтээр загварын идэвхжүүлэлтээс өөрчилж чадахгүй. загварын эзэмшигч нь загварын бүх сургалтын өгөгдөл нь MS-ийн бүрэн мэдлэгтэй бөгөөд MS-ийн бүх сургалтын өгөгдлийг хангах боломжтой. About the source model and its owner. Бид эх үүсвэр загварын сургалтын үйл явц нь алдартай өгөгдөл болон хувийн өгөгдөл хооронд хооронд байж болох юм. Тиймээс, үүсгэсэн өгөгдөл нь алдартай болон хувийн өгөгдлийг хооронд холбоотой жишээг агуулдаг. Энэ нийтлэл нь хувийн өгөгдөлтэй харьцуулагдсан өгөгдлийн ач холбогдоноос үздэг. Зөөлөн загвар M нь хар хайрцаг суурилуулалттай байдаг. Зөөлөн загвар нь эхний загвартай адил загвар архитектурыйг хуваалцах боломжтой. Зөөлөн загвар нь үйл ажиллагаа явуулдаг бөгөөд энэ нь зөөлөн загвар ашиглахын тулд хялбар хэрэглэгчэд шаардлагатай байдаг. Энэ нь хэрэглэгчдэд судалгаа хийхэд зөвхөн асуултуудтай интерфэйс санал болгож байна. About the suspicious model. 2.4 Методологийн 2.4.1 судалгааны асуудал Бид "хэдийгээр өгөгдлийн бүрэлдэхүүн хэсэг нь тодорхой загварыг үүсгэхийн тулд" -ийг нэг хоосон өгөгдлийн тусгаарлагч гэж тодорхойлосон байна. Энэ санаа нь зураг 3. Нэг хоосон өгөгдлийн тусгаарлагч нь академик [11, 28] болон аж үйлдвэрийн хүрээлэн [16, 17] хооронд хоёсон өгөгдлийн тусгаарлагчтай байхыг шалгах нь нэг хоосон өгөгдлийн тусгаарлагч үйл явц юм. Бидний үйл ажиллагаа нь хоёр хавтгай атрибуци дээр төвлөрсөн юм. Энэ нь Model B-ийн Model A-ийн үүсгэсэн өгөгдлийн ашиглан боловсруулсан байгаа эсэх зорилготой юм. Энэ тохиргоог, Model A-ийн үүсгэсэн өгөгдлийн жагсаалж чадахгүй, үүсгэсэн өгөгдлийг усны жагсаалтаас хамарсан биш юм. Энэ үйл ажиллагаа нь хамгийн сүүлийн үеийн анхаарлаа олж авсан бөгөөд Han et al. [6] ангиллын загвар дахь боловсруулсан өгөгдлийн тодорхой GAN загвар нь агрессив арилжааны тохиргооны дагуу үүсгэсэн байна. Одоогийн үйл явцтай харьцуулахад бидний үйл явц нь бодит дэлхий даяар үүсгэх үзүүлэлтэд илүү хязгаарлалттай үйл явцтай байдаг. Эхлээд бид илүү үр дүнтэй эрсдлийн загвар судлах болно. Бид зөвхөн агрессийн ач холбогдолтой загвар, түүнчлэн хязгаарлалтгүй тохиргоог харьцуулаад байна. Бид хязгаарлалтгүй тохиргоог илүү алдартай байдаг гэж бодож байна, ялангуяа олон хөгжүүлэгч нь тэдний загваргыг нууцаар хуваалцахын тулд бага өгөгдлийг цуглуулж болно. Хоёрдугаанд бид илүү их ач холбогдолтой загварууд судлах байна. Өмнөх судалгаа нь хязгаарлалтгүй GAN сүлжээг ашиглан эхний загварууд судлах, хязгаар 2.4.2 Дизайн дэлгэрэнгүй Зураг 3-д илрүүлсэн шиг, хоёр хоп атрибутын контекст дотор, Model B-ийг сургах хэрэглэгдсэн өгөгдөл нь агностик юм. Тиймээс, хоёр хоп өгөгдлийн атрибутыг шийдэхийн тулд, Бид Model B болон Model A хооронд холболт үүсгэх хэрэгтэй. Энэ нь загварын экстракцийн давуу талбар дээр ажиллах нь харьцуулагдсан [12, 19, 27]. Дараа нь x ∼ X нь X хуваалцлын ямар ч өгөгдөл юм, ε нь хүйтэн тоо юм. загварын олборлолт ажиллагаас зайлсхийж, бид зураг 4 дахь хоёр хавтгай атрибутын үйл явцыг тайлбарлав. Ариун загварын бүрэн (түүнчлэн агрессив тохиргооны) эсвэл эдгээр хэсэгт (түүнчлэн хязгаарлагдмал тохиргооны) эх үүсвэр загварын хуваалцлыг дублираж болно. Эдгээр асуултуудыг сайжруулахын тулд бидний үндсэн мэдрэмж нь асуулттай загваруудтай загварыг идентичлэх юм. Үүнийг олж авахын тулд бид эх үүсвэр, асуулттай загварыг хооронд хооронд харьцуулахад харьцуулана. , бид тодорхойлолттай загвар мэдэгдэх зорилготой юм. Үнэлгээний багц дээр ач холбогдолт итгэл хэмжих. Үнэлгээний 5 дагуу, бид эх үүсвэр, хатуу загвар хоорондын хоорондын хоорондын хоорондын хоорондын хоорондын хоорондын хоорондын хоорондын хоорондын хоорондын хоорондын хоорондын хоорондын хоорондын хоорондын хоорондын хоорондын хоорондын хоорондын хоорондын хоорондын хоорондын хоорондын хоорондын хоорондын хоорондын хоорондын хоорондын хоорондын хоорондын хоорондын хоорондын хоорондын хоорондын хоорондын хоорон At instance level , бид нягтралтай загвар, нягтралтай загвар хоорондын хоорондын хоорондын хоорондын хоорондын хоорондын хоорондын хоорондын хоорондын хоорондын хоорондын хоорондын хоорондын хоорондын хоорондын хоорондын хоорондын хоорондын хоорондын хоорондын хоорондын хоорондын хоорондын хоорондын хоорондын хоорондын хоорондын хоорондын хоорондын хоорондын хоорондын хоорондын хоорондын хоорондын хоорондын хоорондын хоорондын хоорондын хоорондын хоорондын хоорондын хоорондын хоорондын хоорондын хоорондын хо At statistical level Судалгааны түвшний шийдэл гүйцэтгэлийн хүчин чадал нь эхний загваруудын сургалтын өгөгдлийн хуваалцлыг нарийвчлалтай харахын тулд дээж олох чадвартай юм. Энэ нь маш сайн интерпретируудтай байдаг. Статистикийн түвшний шийдэл интерпретирууд нь хязгаарлагдмал байдаг боловч энэ нь илүү өргөн ач холбогдолтой, дараа нь маш их нарийвчлалтай болгох боломжийг олгодог. Тиймээс практикэд хэрэглэгчдэд тэдний тусгай шаардлагын дагуу сонгохыг зөвлөж байна. 2.4.3 Судалгааны түвшин шийдэл Судалгааны түвшний шийдэл нь эх үүсвэр, хатуу загвар хооронд хуваалцсан хуваалцсан хуваалцсан хуваалцсан (Харьцсан загвар 4). Энэ талаар бид {X1, . . , Xn} ашигладаг. Хатуу загвартай хуваалцсан загвартай хуваалцсан хуваалцсан хуваалцсан загвар нь {X1, . . , Xm} гэж хуваалцсан. Хэрэв m нь n-ээс бага бол энэ нь хатуу хуваалцсан загвар гэж нэрлэдэг. Үүнээс гадна, m нь 0, хатуу загвар нь загвартай хуваалцсан хуваалцсан хуваалцсан хуваалцсан хуваалцсан загвар гэж нэрлэдэг. загвар нь загварын эзэмшигч нь хувийн юм, энэ нь бусад хүмүүст энэ өгөгдөл, эсвэл нэг дистрибутины ямар ч өгөгдөл нь легитимийг дамжуулан хандах боломжтой юм. Судалгааны түвшин шийдэл дараах хэлбэлзэж болно: Хэрэв conf нь хатуу загварын M-ийн хязгаарлагдмал юм гэж итгэл юм. Формулац нь хоёр асуудал харуулдаг: 1) инчийн х зориулалт хийх вэ, Х-ийн хуваалтын дээж авах нь хязгаарлагдмал байж болох юм. 2) атрибутын метрик f дизайн вэ. Дараа нь бид атрибутын инчийн зориулалт, атрибутын метрик нь дэлгэрэнгүй загварын зориулалтаар хоёр стратегийг санал болгож байна. . Дээрх өгөгдлийн зориулалт хийхэд зориулсан санаа нь X-ийн багц MS-ийн эх сурвалж загварыг үүсгэх хязгаарлалыг багасгах боломжтой бол X-ийн эдгээр инстанц нь MS-ийн суралцажтай суралцажтай суралцажтай загварыг багасгахын тулд хязгаарлалттай байдаг. Тиймээс энэ нь энэ загварыг MS-ийн эх сурвалжтай загварыг багасгахын тулд энэ загваруудтай загварыг багасгахын тулд зөвхөн эх сурвалжтай загваруудтай байдаг. Энэ нь хязгаарлалттай бөгөөд практик юм. Хэрэв нэг инстанц нь олон нийтийн дистрибуцийг амархан олж авсан бөгөөд MS-ийн эзэмшигч руу хувийн биш юм бол хэрэглээг харахын тулд хүчтэй мотивийг байдаг. Бид Татаж авах Input Preparation Бид гол сав баглаа боодол бий болгохын тулд хоёр стратегийг боловсруулсан бөгөөд энэ нь мэдрэгчдэд суурилсан стратегийн бөгөөд генерацид суурилсан стратегийн юм. Бид эдгээр хоёр стратегийн зураг 5 дээр иллюстраж байна. мэдрэгчдэд суурилсан стратегийн зорилго нь MS-ийн сургалтын өгөгдлийн цуврал хооронд нунтаг минимизийг сайжруулахын тулд үндсэн багц идентичлэх зорилготой бөгөөд энэ стратегийн загварын хуваалцах нь санал болгож буй сав баглаа боодол юм. Энэ стратегийн хурдан бөгөөд ямар ч сургалтыг шаарддаг. генерацид суурилсан стратегийн талаархи сав баглаа боодол үүсгэх боломжтой MS-ийн загварыг сайжруулдаг. Энэ стратегии нь генерацийг багасгах боломжтой. . Энэ стратегид, бид эхлэн эх үүсвэр загварын сургалтын өгөгдлийн багтаас TXT-ийн бүх текст илгээхыг MS-ийн эх үүсвэр загварын MS-д нийцдэг. Энэ нь IMGgen-ийн зураг үүсгэх болно. Дараа нь бид IMGgen-ийн болон IMGgt-ийн үндсэн мэдээний зураг хооронд харьцуулахын тулд SSCD түвшин [15] ашигладаг. SSCD түвшин нь зургийн хуваалцах мэдрэхэд өргөн хэрэглэгддэг хамгийн сүүлийн үеийн зургийн харьцуулалтын түвшин юм[22, 23]. Бид хамгийн их харьцуулалт түвшинтай N инстанцийг гол дээж болгон сонгож байна: Detection-based strategy Эдгээр загвард зориулалтаар бид эхлэн эх үүсвэр загварын сургалтын өгөгдлийн багтаас текст илрүүлэгч, зураг илрүүлэгч, текст илрүүлэгч, текст илрүүлэгч, текст илрүүлэгч, текст илрүүлэгч, текст илрүүлэгч, текст илрүүлэгч, текст илрүүлэгч, текст илрүүлэгч, текст илрүүлэгч, текст илрүүлэгч, текст илрүүлэгч, текст илрүүлэгч, текст илрүүлэгч, текст илрүүлэгч, текст илрүүлэгч, текст илрүүлэгч, текст илрүүлэгч, текст илрүүлэгч, текст илрүүлэгч, текст илрүүлэгч, текст илрүүлэгч, текст илрүүлэгч, текст илрүүлэгч, текст илрүүлэгч, текст илрүүлэгч, текст илрүүлэгч, текст ил Generation-based strategy Хэдийгээр бид ширээний түвшинд ширээний түвшин ширээний түвшин ширээний түвшин ширээний түвшин ширээний түвшин ширээний түвшин ширээний түвшин ширээний түвшин ширээний түвшин ширээний түвшин ширээний түвшин ширээний түвшин ширээний түвшин ширээний түвшин ширээний түвшин ширээний түвшин ширээний түвшин ширээний түвшин ширээний түвшин ширээний түвшин ширээний түвшин ширээний түвшин ширээний түвшин ширээний түвшин ширээний түвшин ширээний түвшин ширээний Одоо бид эх үүсвэр, хатуу загвар хооронд хооронд харьцуулагдсан хавтгай загвар хооронд харьцуулахад 6 нь метрик f нь инстанцийг ашигладаг. Instance Level Solution нь Metric-ийг хуваалцах. 2.5 Статистикийн түвшин шийдэл Бид fD-ийн бүтэцтэй сургалтын өгөгдлийг цуглуулахын тулд гишүүдтэй түлхүүр бүтэц[21]-ийг ашигладаг. Энэ нь дараах үйл явдлыг агуулдаг: Зохиогчийн эрх : 1) Ликун Чанг; 2) Хао Wu 3) Lingcui Чанг; 4) Өнгөрсөн цаг; (5) Чин Чан; (6) Fenghua Ли; (7) Бен Ниу . Authors: 1) Ликун Чанг; 2) Хао Wu 3) Lingcui Чанг; 4) Өнгөрсөн цаг; (5) Чин Чан; (6) Fenghua Ли; (7) Бен Ниу . Энэ нийтлэл нь CC BY 4.0 лицензийн дагуу archiv дээр байдаг. Энэ нийтлэл нь CC BY 4.0 лицензийн дагуу archiv дээр байдаг.
