Το τραπέζι της Αριστεράς Abstract and Introduction Background & Related Work 2.1 Text-to-Image Diffusion Model 2.2 Watermarking Techniques 2.3 Preliminary 2.3.1 Problem Statement 2.3.2 Assumptions 2.4 Methodology 2.4.1 Research Problem 2.4.2 Design Overview 2.4.3 Instance-level Solution 2.5 Statistical-level Solution Experimental Evaluation 3.1 Settings 3.2 Main Results 3.3 Ablation Studies 3.4 Conclusion & References 3 Πειραματική αξιολόγηση Στη συνέχεια, θα δείξουμε αν η προτεινόμενη μέθοδος μπορεί να επιτύχει τους στόχους που προσδιορίζονται στην ενότητα 3.1. Τέλος, θα ολοκληρώσουμε μια μελέτη αφαίρεσης και θα συζητήσουμε στρατηγικές για την επιλογή βέλτιστων υπερπαραμέτρων. 3.1 Ρυθμίσεις Χρησιμοποιούμε το Stable Diffusion [17] με τα σημεία ελέγχου Stable-Diffusion-v1-5 (SD-v1) [25] και Stable-Diffusion-v2-1 (SDv2) [26] ως προ-εκπαιδευμένα μοντέλα. Text-to-image models. Επιλέγουμε δύο ευρέως υιοθετημένα σύνολα δεδομένων εικόνας υπότιτλων. Datasets CelebA-Dialog-HQ (CelebA) [9]: ένα μεγάλο οπτικό γλωσσικό σύνολο δεδομένων προσώπου με 30.000 εικόνες προσώπου υψηλής ανάλυσης με μέγεθος 1024×1024 που επιλέγονται από το σύνολο δεδομένων CelebA. Συνοδεύεται από κάθε εικόνα, υπάρχει μια επιγραφή που περιγράφει πέντε λεπτόκοκκα χαρακτηριστικά, συμπεριλαμβανομένων των Bangs, Eyeglasses, Beard, Smiling και Age. 2) Google Conceptual Captions (CC3M) [20]: ένα νέο σύνολο δεδομένων που αποτελείται από 3,3 εκατομμύρια εικόνες που αναφέρονται με ετικέτες. Χρησιμοποιούμε το διαχωρισμό επικύρωσης που αποτελείται από 15.840 ζεύγη εικόνας / ετικέτας. σε αντίθεση με το επιμελημένο στυλ άλλων σημειώσεων ετικετών εικόνας, οι εικόνες Conceptual Caption και οι περιγραφές τους συλλέγονται από το διαδίκτυο και συνεπώς αντιπροσωπεύουν μια ευρύτερη ποικιλία στυλ. Κατασκευάζουμε τα μοντέλα προέλευσης χρησιμοποιώντας απευθείας προ-εκπαιδευμένα ή, κατά συνέπεια, τελειοποιώντας τα στα προαναφερθέντα σύνολα δεδομένων. Για τα δεδομένα εκπαίδευσης για τελειοποίηση, επιλέγουμε τυχαία 3000 δείγματα από κάθε σύνολο δεδομένων και τα μεγεθύνουμε σε 512×512. Τελειοποιούμε κάθε μοντέλο προ-εκπαιδευμένο σε κάθε σύνολο δεδομένων για συνολικά 3000 επαναλήψεις με σταθερό ρυθμό μάθησης 2e-6 και μέγεθος παρτίδας 2. Ονομάζουμε αυτά τα μοντέλα προέλευσης ως: SD-v1, SD-v2, SD-v1-CelebA, SD-v2-CelebA, SD-v1-CC3M, SD-v2-CC3M. Source model construction Ενώ η προ-εκπαίδευση και η τελική προσαρμογή προκαλούν ανησυχίες σχετικά με την παραβίαση IP, η τελική προσαρμογή έχει πιο σοβαρό αντίκτυπο. Σε σύγκριση με την προ-εκπαίδευση, η τελική προσαρμογή είναι εξαιρετικά βολική και αποδοτική, επιτρέποντας πολλές μη εξουσιοδοτημένες χρήσεις χωρίς πολύ περιορισμό πόρων. Έτσι, χτίσαμε κάθε μοντέλο παραβίασης με τελική προσαρμογή ενός προ-εκπαιδευμένου μοντέλου σε 500 δείγματα εκπαίδευσης, όπου ένα ποσοστό ρ από αυτά παράγονται από ένα μοντέλο πηγής, ενώ τα υπόλοιπα δειγματοποιούνται από τα πραγματικά δεδομένα. Suspicious model construction. Σημειώστε ότι η δουλειά μας είναι η πρώτη που αντιμετωπίζει το πρόβλημα της ανάθεσης δεδομένων κατάρτισης στο σενάριο κείμενο-εικόνα, και ως εκ τούτου, δεν υπάρχει άμεσα σχετιζόμενη εργασία. Baselines Πιο συγκεκριμένα, όπως προτείνεται στο [12], με την κωδικοποίηση ενός μοναδικού 32-bit array στις εικόνες που παράγονται από τα μοντέλα πηγής, τα παραβιάζοντα μοντέλα που εκπαιδεύονται σε τέτοια δεδομένα με υδατογράφημα θα δημιουργήσουν επίσης εικόνες στις οποίες μπορεί να ανιχνευθεί το υδατογράφημα. Βασική γραμμή 1: Αποδοχή δεδομένων με βάση το Watermark Αυτή η βασική γραμμή υιοθετεί την ίδια ιδέα με τη λύση σε επίπεδο περιπτώσεων, αλλά Βασική γραμμή 2: Αποδοχή δεδομένων με βάση την τυχαία επιλογή. Δεν χρησιμοποιούμε τη στρατηγική 1 και τη στρατηγική 2 που προτείνουμε για την ανάθεση δεδομένων. Συγκεκριμένα, επιλέγουμε τυχαία δείγματα κατάρτισης N από το σύνολο δεδομένων κατάρτισης του μοντέλου προέλευσης ως εισαγωγή ανάθεσης. Χρησιμοποιούμε το σκορ Ακρίβεια, Περιοχή κάτω από την καμπύλη (AUC) και το TPR@10%FPR [2] για να αξιολογήσουμε την ακρίβεια και την αξιοπιστία των μεθόδων αποδοχής. Evaluation Metrics. 3.2 Κύρια αποτελέσματα Λαμβάνοντας υπόψη κάθε μοντέλο προέλευσης, κατασκευάσαμε 30 παραβιάζοντα μοντέλα και υπολογίσαμε τη μετρητή conf που ορίζεται στην Εξίσωση 9 για κάθε παραβιάζον μοντέλο. Εδώ ορίζουμε το μέγεθος δείγματος κλειδιού ως N = 30. Για να αξιολογήσουμε την αξιοπιστία της λύσης αποδόσεως σε επίπεδο περιπτώσεων, αναφέρουμε τη μέση τιμή conf μεταξύ των 30 παραβιάζοντων μοντέλων με διαφορετικούς ρυθμούς παραγωγής ρ στο σχήμα 6. Τα παραβιάζοντα μοντέλα είναι λεπτομερώς προσαρμοσμένα με αυξανόμενες αναλογίες δημιουργημένων εικόνων (ρ = 30%, 50%, 70%, 100% από συνολικά 500). Ο άξονας y του σχήματος 6 αναφέρεται στη μέση Effectiveness of Instance-level Attribution. Κύριο αποτέλεσμα 1: Η λύση μας ξεπερνά την βασική γραμμή 2, αποδεικνύοντας σημαντική βελτίωση της εμπιστοσύνης αποδόσεως κατά περισσότερο από 0,2 σε διάφορες ρ τιμές. Κύριο αποτέλεσμα 2: Η μέθοδος αποδόσεώς μας διατηρεί την αξιοπιστία της ακόμη και όταν το παράνομο μοντέλο χρησιμοποιεί ένα μικρό κλάσμα των δεδομένων που παράγονται για εκπαίδευση.Η ανάλυσή μας σε επίπεδο περιπτώσεων, αξιοποιώντας μια στρατηγική που βασίζεται στην παραγωγή, παρουσιάζει εμπιστοσύνη πρόβλεψης που υπερβαίνει το 0,6, ακόμη και κάτω από ένα χαμηλότερο ποσοστό παραγωγής 30%. Για να εκπαιδεύσουμε το μοντέλο του διακρίτη στην ενότητα 4.4, ορίζουμε n = 500, s = 10, N = 30. Effectiveness of Statistical-level Attribution Κύριο αποτέλεσμα 3: Τα αποτελέσματα στον Πίνακα 1 δείχνουν ότι η αποδοχή μας επιτυγχάνει υψηλή ακρίβεια και απόδοση AUC, όπου η ακρίβεια υπερβαίνει το 85%, και η AUC είναι υψηλότερη από 0,8 για την αποδοχή παραβιάσεων μοντέλων σε διαφορετικά μοντέλα πηγής. Η ακρίβεια και η AUC είναι μετρήσεις μέσης περιπτώσεως που μετρούν πόσο συχνά μια μέθοδος αποδοχής προβλέπει σωστά την παραβίαση, ενώ μια αποδοχή με υψηλό FPR δεν μπορεί να θεωρηθεί αξιόπιστη. Έτσι, χρησιμοποιούμε τη μετρία TPR@10%FPR για να αξιολογήσουμε την αξιοπιστία της αποδοχής στατιστικού επιπέδου. Η δεξιά στήλη του Πίνακα 1 δείχν 3.3 Μελέτες αφαίρεσης δ0. Για να προσδιοριστεί η βέλτιστη τιμή δ0 για την αποδοχή σε επίπεδο περιπτώσεων, υπολογίζουμε τις τιμές απόστασης ανακατασκευής χρησιμοποιώντας 30 δείγματα-κλειδιά σε ένα παράνομο μοντέλο με ρ = 1 και ένα αθώο μοντέλο με ρ = 0. Το αθώο μοντέλο προσαρμόζεται στο προ-εκπαιδευμένο μοντέλο του SD-v2. Ο πίνακας 2 συγκρίνει την κατανομή απόστασης ανακατασκευής μεταξύ των ύποπτων μοντέλων με βάση διαφορετικά μοντέλα προέλευσης. οι στήλες 4-8 δείχνουν το ποσοστό των δειγμάτων μέσα σε ένα συγκεκριμένο εύρος απόστασης ανακατασκευής για κάθε περίπτωση, ενώ οι τελευταίες 2 στήλες παρουσιάζουν τη μέση και την καλύτερη απόσταση ανακατασκευής μεταξύ Effect of hyper-parameter οι διαφορές μεταξύ των διανομών του αθώου μοντέλου και του παραβιάζοντος μοντέλου, τόσο ευκολότερο είναι να βρεθεί δ0 για αποδοχή. Για το αθώο μοντέλο, η απόσταση ανοικοδόμησης ενός μεγάλου ποσοστού δειγμάτων (όσο μεγάλο είναι το 73,9%) εμπίπτει στο εύρος του [0,15,0,2], ενώ μόνο το 4,3% των δειγμάτων έχει απόσταση ανοικοδόμησης μικρότερη από το 0,15. Για το παραβατικό μοντέλο, υπάρχουν περίπου 20% των δειγμάτων έχουν απόσταση ανοικοδόμησης μικρότερη από το 0,1. Στις περισσότερες περιπτώσεις (5 από τα 6 παραβατικά μοντέλα), πάνω από ένα ποσοστό του 40% των δειγμάτων έχει απόσταση ανοικοδόμησης στο εύρος του [0,1,0,15). Αυτό δείχνει ότι δ0 = 0,15 είναι ένα σημαντικό όριο για τη διάκριση αθώων μοντέλων και παραβατικών μοντέλων ανεξάρτητα από τα μοντέλα Μετά τις ρυθμίσεις στον Πίνακα 2, μελετάμε περαιτέρω τον αντίκτυπο του N στην αποδοχή σε επίπεδο περιπτώσεων, όπου το N κυμαίνεται από 20 έως 100 στην Εικόνα 7. Ο άξονας y αναφέρεται στη μέση τιμή conf στα δείγματα κλειδιών N μέσω της Εξίσωσης 6, όπου conf αντιπροσωπεύει την εμπιστοσύνη αποδοχής για τον προσδιορισμό των παραβατικών μοντέλων. Ειδικότερα, το N = 100 αντιπροσωπεύει ένα παραβατικό μοντέλο με το αντίστοιχο μοντέλο προέλευσης που καθορίζεται στον υπότιτλο. Όσο υψηλότερη είναι η εμπιστοσύνη, τόσο πιο αξιόπιστη είναι η λύση αποδοχής. Θεωρητικά, μια αυξανόμενη N = 30 βελτιώνει την αξιοπιστία της Effect of key sample size 𝑁. 3.4 Συμπεράσματα Αυτή η εργασία αντιμετωπίζει το κρίσιμο ζήτημα της ανάθεσης δεδομένων κατάρτισης, εξετάζοντας αν ένα ύποπτο μοντέλο παραβιάζει την πνευματική ιδιοκτησία ενός εμπορικού μοντέλου χρησιμοποιώντας τα δεδομένα που παράγονται χωρίς άδεια. Η προτεινόμενη λύση ανάθεσης επιτρέπει την αναγνώριση του μοντέλου προέλευσης από το οποίο προέρχονται τα δεδομένα κατάρτισης ενός ύποπτου μοντέλου. Η λογική της μεθόδου μας έγκειται στην αξιοποίηση της εγγενής ιδιότητας απομνημόνευσης των συνόλων δεδομένων κατάρτισης, η οποία θα μεταδοθεί μέσω των δεδομένων που παράγονται και θα διατηρηθεί μέσα στα μοντέλα που έχουν εκπαιδευτεί σε τέτοια δεδομένα. Έχουμε σχεδιάσει Αναφορές [1] Yossi Adi, Carsten Baum, Moustapha Cissé, Benny Pinkas, και Joseph Keshet. 2018. Μετατρέποντας την αδυναμία σας σε δύναμη: Watermarking Deep Neural Networks by Backdooring. In Proc. of USENIX Security Symposium. [2] Nicholas Carlini, Steve Chien, Milad Nasr, Shuang Song, Andreas Terzis, και Florian Tramer. 2022. Επιθέσεις συμπερίληψης της ιδιότητας μέλους από τις πρώτες αρχές. [3] Nicholas Carlini, Jamie Hayes, Milad Nasr, Matthew Jagielski, Vikash Sehwag, Florian Tramèr, Borja Balle, Daphne Ippolito, και Eric Wallace. 2023. Εξαγωγή δεδομένων κατάρτισης από μοντέλα διάχυσης. [4] Weixin Chen, Dawn Song, και Bo Li. 2023. TrojDiff: Τροϊκές επιθέσεις σε μοντέλα διάδοσης με διαφορετικούς στόχους. [5] Sheng-Yen Chou, Pin-Yu Chen, και Tsung-Yi Ho. 2023. Πώς να backdoor μοντέλα διάχυσης; Σε ποσοστό IEEE CVPR. [6] Ge Han, Ahmed Salem, Zheng Li, Shanqing Guo, Michael Backes, και Yang Zhang. 2024. ανίχνευση και αναγνώριση μοντέλων που εκπαιδεύονται σε δεδομένα που παράγονται. [7] Φωτογραφίες. [n. d.]. https://imagen-ai.com/όροι χρήσης [8] Hengrui Jia, Christopher A Choquette-Choo, Varun Chandrasekaran, και Nicolas Papernot. 2021. Συναγερμός υδατοσήμων ως άμυνα κατά της εξόρυξης μοντέλων. [9] Yuming Jiang, Ziqi Huang, Xingang Pan, Chen Change Loy, και Ziwei Liu. 2021. Talk-to-Edit: Fine-Grained Facial Editing via Dialog. [10] Zongjie Li, Chaozheng Wang, Shuai Wang, και Cuiyun Gao. 2023. Προστασία της πνευματικής ιδιοκτησίας των API γεννήσεως κώδικα με βάση το μοντέλο μεγάλης γλώσσας μέσω σημείων νερού. [11] Yugeng Liu, Zheng Li, Michael Backes, Yun Shen, και Yang Zhang. 2023. μοντέλο διάχυσης υδραυλικής σήμανσης. arXiv πρότυπο arXiv:2305.12502 (2023). [12] Ge Luo, Junqiang Huang, Manman Zhang, Zhenxing Qian, Sheng Li, και Xinpeng Zhang. 2023. Κλέψτε τα έργα τέχνης μου για λεπτομερή προσαρμογή; Ένα πλαίσιο σήμανσης νερού για την ανίχνευση κλοπής τέχνης σε μοντέλα κειμένου-εικόνας. arXiv preprint arXiv:2311.13619 (2023). [13] Peizhuo Lv, Hualong Ma, Kai Chen, Jiachen Zhou, Shengzhi Zhang, Ruigang Liang, Shenchen Zhu, Pan Li και Yingjun Zhang. 2024. MEA-Defender: Ένα ισχυρό υδραυλικό σήμα κατά της επίθεσης εξαγωγής μοντέλου. [14] MidJourney. [n. d.]. https://docs.midjourney.com/docs/όροι παροχής υπηρεσιών [15] Ed Pizzi, Sreya Dutta Roy, Sugosh Nagavara Ravindra, Priya Goyal, και Matthijs Douze. 2022. Ένας αυτοεποπτευόμενος περιγραφέας για την ανίχνευση αντιγραφής εικόνας. Σε ποσοστό IEEE/CVF CVPR. [16] Aditya Ramesh, Prafulla Dhariwal, Alex Nichol, Casey Chu, και Mark Chen. 2022. Ιεραρχική δημιουργία κειμένου-υποχρεωτικής εικόνας με latents CLIP. arXiv preprint arXiv:2204.06125 (2022). [17] Robin Rombach, Andreas Blattmann, Dominik Lorenz, Patrick Esser, και Björn Ommer. 2022. Σύνθεση εικόνας υψηλής ανάλυσης με μοντέλα λανθάνουσας διάχυσης. [18] Olaf Ronneberger, Philipp Fischer, και Thomas Brox. 2015. U-net: Συγκρουτικά δίκτυα για τη βιοϊατρική διαίρεση εικόνας. σε ποσοστό Springer MICCAI. [19] Zeyang Sha, Xinlei He, Ning Yu, Michael Backes, και Yang Zhang. 2023. Δεν μπορείτε να κλέψετε; Αντι-Κλέψτε! Αντίθετες επιθέσεις κλοπής εναντίον κωδικοποιητών εικόνας. Σε ποσοστό IEEE CVPR. [20] Piyush Sharma, Nan Ding, Sebastian Goodman, και Radu Soricut. 2018. Εννοιολογικές επιγραφές: Ένα καθαρισμένο, υπερηχητικό, σύνολο δεδομένων εικόνας Alt-text για αυτόματη καταγραφή εικόνας. [21] Reza Shokri, Marco Stronati, Congzheng Song, και Vitaly Shmatikov. 2017. Επιθέσεις συμπερίληψης μελών εναντίον μοντέλων μηχανικής μάθησης. Το 2017 Συμπόσιο IEEE για την ασφάλεια και την ιδιωτικότητα (SP). IEEE, 3–18. [22] Gowthami Somepalli, Vasu Singla, Micah Goldblum, Jonas Geiping, και Tom Goldstein. 2023. Τέχνη διάδοσης ή ψηφιακή παραποίηση; Ερευνώντας την αναπαραγωγή δεδομένων σε μοντέλα διάδοσης. Σε ποσοστό του IEEE CVPR. [23] Gowthami Somepalli, Vasu Singla, Micah Goldblum, Jonas Geiping, και Tom Goldstein. 2023. Κατανόηση και μείωση της αντιγραφής σε μοντέλα διάχυσης. [24] Lukas Struppek, Dominik Hintersdorf και Kristian Kersting. 2022. Rickrolling the Artist: Injecting Invisible Backdoors into Text-Guided Image Generation Models. arXiv preprint arXiv:2211.02408 (2022). [25] Stable-Diffusion v1 5. [n. d.]. https://huggingface.co/runwayml/stable-diffusionv1-5 [26] Stable-Diffusion v2 1. [n. d.]. https://huggingface.co/stabilityai/stable-diffusion2-1 [27] Yixin Wu, Rui Wen, Michael Backes, Ning Yu, και Yang Zhang. 2022. [28] Yunqing Zhao, Tianyu Pang, Chao Du, Xiao Yang, Ngai-Man Cheung, και Min Lin. 2023. Μια συνταγή για τα μοντέλα διάχυσης υδατοσήμανσης. arXiv preprint arXiv:2303.10137 (2023). Οι συγγραφείς: 1) Λικούν Ζανγκ 2) Ο Χάου Γουί 3) Λινγκτσούι Ζανγκ 4) Φενγκγιουάν Σου 5) Τζιν Τσάο 6) Φενγκούα Λι (7) Μπεν Νιου . Authors: 1) Λικούν Ζανγκ 2) Ο Χάου Γουί 3) Λινγκτσούι Ζανγκ 4) Φενγκγιουάν Σου 5) Τζιν Τσάο 6) Φενγκούα Λι (7) Μπεν Νιου . Αυτό το έγγραφο είναι διαθέσιμο στο archiv υπό την άδεια CC BY 4.0. Αυτό το έγγραφο είναι διαθέσιμο στο archiv υπό την άδεια CC BY 4.0. Διαθέσιμο στα Αρχεία
