ការស្រាវជ្រាវថ្មីបង្ហាញពីភាពងាយរងគ្រោះនៅក្នុងឧបករណ៍ការពារសិល្បៈដ៏ពេញនិយមប្រឆាំងនឹងការលួច AI

តារាងតំណភ្ជាប់

អរូបី និង 1. សេចក្តីផ្តើម

2. ប្រវត្តិ និងការងារពាក់ព័ន្ធ

3. គំរូគំរាមកំហែង

4. ការធ្វើត្រាប់តាមរចនាប័ទ្មដ៏រឹងមាំ

5. ការដំឡើងសាកល្បង

6. លទ្ធផល

   6.1 របកគំហើញសំខាន់ៗ៖ ការការពារទាំងអស់ត្រូវបានបញ្ចៀសបានយ៉ាងងាយស្រួល

   6.2 ការវិភាគ

7. ការពិភាក្សា និងផលប៉ះពាល់ទូលំទូលាយ ការទទួលស្គាល់ និងឯកសារយោង

ក. គំរូសិល្បៈលម្អិត

ខ. ជំនាន់ធ្វើត្រាប់តាមដ៏រឹងមាំ

គ. លទ្ធផលលម្អិត

D. ភាពខុសគ្នាជាមួយ Glaze Finetuning

E. ការរកឃើញនៅលើ Glaze 2.0

F. Findings on Mist v2

G. វិធីសាស្រ្តសម្រាប់ការធ្វើត្រាប់តាមរចនាប័ទ្ម

H. ការការពារការធ្វើត្រាប់តាមរចនាប័ទ្មដែលមានស្រាប់

I. វិធីសាស្រ្តធ្វើត្រាប់តាមដ៏រឹងមាំ

J. ការដំឡើងពិសោធន៍

K. ការសិក្សាអ្នកប្រើប្រាស់

L. ធនធានគណនា

អរូបី

វិចិត្រករ​មាន​ការ​ព្រួយ​បារម្ភ​កាន់​តែ​ខ្លាំង​ឡើង​អំពី​ភាព​ជឿនលឿន​នៃ​ម៉ូដែល​បង្កើត​រូបភាព​ដែល​អាច​ចម្លង​ស្ទីល​សិល្បៈ​ប្លែកៗ​របស់​ពួកគេ​យ៉ាង​ជិតស្និទ្ធ។ ជាការឆ្លើយតប ឧបករណ៍ការពារជាច្រើនប្រឆាំងនឹងការធ្វើត្រាប់តាមរចនាប័ទ្មត្រូវបានបង្កើតឡើង ដែលរួមបញ្ចូលការរំខានពីសត្រូវតូចៗទៅក្នុងស្នាដៃសិល្បៈដែលបានបោះពុម្ពលើអ៊ីនធឺណិត។ នៅក្នុងការងារនេះ យើងវាយតម្លៃប្រសិទ្ធភាពនៃការការពារដ៏ពេញនិយម ជាមួយនឹងការទាញយករាប់លាន ហើយបង្ហាញថាពួកគេគ្រាន់តែផ្តល់នូវសុវត្ថិភាពមិនពិតប៉ុណ្ណោះ។ យើងរកឃើញថាបច្ចេកទេសដែលមានការខិតខំប្រឹងប្រែងទាប និង "ក្រៅធ្នើ" ដូចជាការបង្កើនរូបភាព គឺគ្រប់គ្រាន់ដើម្បីបង្កើតវិធីសាស្ត្រធ្វើត្រាប់តាមដ៏រឹងមាំដែលបំផ្លាញការការពារដែលមានស្រាប់យ៉ាងខ្លាំង។ តាមរយៈការសិក្សារបស់អ្នកប្រើប្រាស់ យើងបង្ហាញថាការការពារដែលមានស្រាប់ទាំងអស់អាចឆ្លងកាត់បានយ៉ាងងាយស្រួល ដោយទុកឱ្យសិល្បករងាយរងគ្រោះក្នុងការធ្វើត្រាប់តាមរចនាប័ទ្ម។ យើងព្រមានថាឧបករណ៍ដែលផ្អែកលើការរំខានពីសត្រូវមិនអាចការពារសិល្បករពីការប្រើប្រាស់ខុសនៃ AI ជំនាន់មុននោះទេ ហើយជំរុញឱ្យបង្កើតដំណោះស្រាយការពារជំនួស។

1 សេចក្តីផ្តើម

ការធ្វើត្រាប់តាមរចនាប័ទ្ម គឺជាកម្មវិធីដ៏ពេញនិយមនៃគំរូបង្កើតអត្ថបទទៅរូបភាព។ ដោយទទួលបានរូបភាពមួយចំនួនពីវិចិត្រករ តារាម៉ូដែលអាចត្រូវបានគេកែសម្រួលដើម្បីបង្កើតរូបភាពថ្មីនៅក្នុងរចនាប័ទ្មនោះ (ឧទាហរណ៍ យានអវកាសនៅក្នុងរចនាប័ទ្មរបស់ Van Gogh)។ ប៉ុន្តែការធ្វើត្រាប់តាមរចនាប័ទ្មមានសក្តានុពលក្នុងការបង្កគ្រោះថ្នាក់យ៉ាងសំខាន់ ប្រសិនបើប្រើប្រាស់ខុស។ ជាពិសេស សិល្បករសហសម័យជាច្រើនបារម្ភថា ពេលនេះអ្នកផ្សេងទៀតអាចផលិតរូបភាពដែលចម្លងស្ទីលសិល្បៈតែមួយគត់របស់ពួកគេ ហើយអាចលួចយកអតិថិជន (Heikkila¨, 2022)។ ជាការឆ្លើយតប ការការពារជាច្រើនត្រូវបានបង្កើតឡើងដើម្បីការពារសិល្បករពីការធ្វើត្រាប់តាមស្ទីល (Shan et al., 2023a; Van Le et al., 2023; Liang et al., 2023)។ ការការពារទាំងនេះបន្ថែមការរំខានជាសត្រូវចំពោះរូបភាពដែលវិចិត្រករផ្សព្វផ្សាយតាមអ៊ីនធឺណិត ដើម្បីរារាំងដំណើរការកែតម្រូវ។ ការការពារទាំងនេះបានទទួលការយកចិត្តទុកដាក់យ៉ាងខ្លាំងពីប្រព័ន្ធផ្សព្វផ្សាយ — ជាមួយនឹងលក្ខណៈពិសេសនៅក្នុង New York Times (Hill, 2023), CNN (Thorbecke, 2023) និង Scientific American (Leffer, 2023) — ហើយត្រូវបានទាញយកជាង 1 លានដង (Shan et al. , ២០២៣ ក).

ទោះបីជាយ៉ាងណាក៏ដោយ វាមិនច្បាស់ទេថាតើឧបករណ៍ទាំងនេះពិតជាការពារសិល្បករប្រឆាំងនឹងការធ្វើត្រាប់តាមរចនាប័ទ្ម ជាពិសេសប្រសិនបើនរណាម្នាក់ព្យាយាមគេចពីពួកគេយ៉ាងសកម្ម (Radiya-Dixit et al., 2021)។ នៅក្នុងការងារនេះ យើងបង្ហាញថាឧបករណ៍ការពាររចនាប័ទ្មទំនើប-Glaze (Shan et al., 2023a), Mist (Liang et al., 2023) និង Anti-DreamBooth (Van Le et al., 2023) - គ្មានប្រសិទ្ធភាពទេនៅពេលប្រឈមមុខនឹងវិធីសាស្ត្រធ្វើត្រាប់តាមដ៏រឹងមាំសាមញ្ញ។ វិធីសាស្ត្រធ្វើត្រាប់តាមដ៏រឹងមាំ ដែលយើងពិចារណាមានចាប់ពីយុទ្ធសាស្ត្រដែលខិតខំប្រឹងប្រែងទាប—ដូចជាការប្រើស្គ្រីបការកែតម្រូវផ្សេង ឬបន្ថែមសំឡេងរំខាន Gaussian ទៅក្នុងរូបភាពមុនពេលហ្វឹកហាត់ — ទៅនឹងយុទ្ធសាស្ត្រពហុជំហានដែលរួមបញ្ចូលគ្នានូវឧបករណ៍ក្រៅធ្នើ។ យើងផ្ទៀងផ្ទាត់លទ្ធផលរបស់យើងជាមួយនឹងការសិក្សារបស់អ្នកប្រើប្រាស់ ដែលបង្ហាញថាវិធីសាស្ត្រធ្វើត្រាប់តាមដ៏រឹងមាំអាចបង្កើតលទ្ធផលដែលមិនអាចបែងចែកបានក្នុងគុណភាពពីអ្វីដែលទទួលបានពីស្នាដៃសិល្បៈដែលមិនបានការពារ (សូមមើលរូបភាពទី 1 សម្រាប់ឧទាហរណ៍ឧទាហរណ៍) ។

យើងបង្ហាញថាឧបករណ៍ការពារដែលមានស្រាប់គ្រាន់តែផ្តល់នូវអារម្មណ៍សុវត្ថិភាពមិនពិតប៉ុណ្ណោះ។ វិធីសាស្រ្តធ្វើត្រាប់តាមដ៏រឹងមាំរបស់យើងមិនតម្រូវឱ្យមានការបង្កើតឧបករណ៍ថ្មី ឬវិធីសាស្ត្រកែតម្រូវនោះទេ ប៉ុន្តែមានតែដោយប្រុងប្រយ័ត្នប៉ុណ្ណោះ។

រួមបញ្ចូលគ្នានូវបច្ចេកទេសកែច្នៃរូបភាពស្ដង់ដារដែលមានរួចហើយនៅពេលឧបករណ៍ការពារទាំងនេះត្រូវបានណែនាំជាលើកដំបូង!។ ដូច្នេះហើយ យើងជឿថា សូម្បីតែអ្នកក្លែងបន្លំដែលមានជំនាញទាបក៏អាចជៀសផុតពីឧបករណ៍ទាំងនេះបានយ៉ាងងាយស្រួលចាប់តាំងពីការចាប់ផ្តើមរបស់ពួកគេ។

ទោះបីជាយើងវាយតម្លៃឧបករណ៍ការពារជាក់លាក់ដែលមានសព្វថ្ងៃនេះក៏ដោយ ដែនកំណត់នៃការការពារការធ្វើត្រាប់តាមរចនាប័ទ្មគឺមានជាប់នឹងខ្លួន។ សិល្បករពិតជាមានគុណវិបត្តិ ដោយសារពួកគេត្រូវតែធ្វើសកម្មភាពជាមុនសិន (ឧទាហរណ៍ នៅពេលដែលនរណាម្នាក់ទាញយកសិល្បៈដែលមានការការពារ ការការពារមិនអាចផ្លាស់ប្តូរបានទៀតទេ)។ ដើម្បីឱ្យមានប្រសិទ្ធភាព ឧបករណ៍ការពារប្រឈមមុខនឹងភារកិច្ចដ៏លំបាកនៃការបង្កើតការរំខានដែលផ្ទេរទៅបច្ចេកទេសកែតម្រូវណាមួយ សូម្បីតែឧបករណ៍ដែលត្រូវបានជ្រើសរើសដោយសម្របខ្លួននាពេលអនាគតក៏ដោយ។ ការសន្និដ្ឋានស្រដៀងគ្នានេះត្រូវបានគូរដោយ Radiya-Dixit et al ។ (Radiya-Dixit et al., 2021) ដែលបានប្រកែកថា ការរំខានពីសត្រូវមិនអាចការពារអ្នកប្រើប្រាស់ពីប្រព័ន្ធសម្គាល់មុខបានទេ។ ដូច្នេះហើយ យើង​សូម​ព្រមាន​ថា បច្ចេកទេស​រៀន​ម៉ាស៊ីន​ដែល​មាន​លក្ខណៈ​ផ្ទុយគ្នា​នឹង​មិន​អាច​ការពារ​សិល្បករ​ពី​ការ​ធ្វើត្រាប់តាម​រចនាប័ទ្ម​ជំនាន់​មុន​បាន​ទេ ហើយ​ជំរុញ​ឱ្យ​មាន​ការ​បង្កើត​វិធានការ​ជំនួស​ដើម្បី​ការពារ​សិល្បករ។

យើងបានបង្ហាញពីលទ្ធផលរបស់យើងចំពោះឧបករណ៍ការពារដែលរងផលប៉ះពាល់ មុនពេលបោះពុម្ពផ្សាយ ដូច្នេះពួកគេអាចកំណត់ដំណើរការដ៏ល្អបំផុតសម្រាប់អ្នកប្រើប្រាស់ដែលមានស្រាប់។