Πρόσθετα αριθμητικά πειράματα σε K-SIF και SIF: Βάθος, θόρυβος και ισχύς διάκρισης

Συγγραφείς: (1) Guillaume Staerman, INRIA, CEA, Παν. Paris-Saclay, Γαλλία; (2) Marta Campi, CERIAH, Institut de l'Audition, Institut Pasteur, Γαλλία. (3) Gareth W. Peters, Department of Statistics & Applied Probability, University of California Santa Barbara, USA. Πίνακας συνδέσμων Περίληψη και 1. Εισαγωγή 2. Ιστορικό & Προκαταρκτικά 2.1. Δάσος Λειτουργικής Απομόνωσης 2.2. Μέθοδος υπογραφής 3. Μέθοδος δασικής απομόνωσης υπογραφών 4. Αριθμητικά πειράματα 4.1. Ανάλυση ευαισθησίας παραμέτρων 4.2. Πλεονεκτήματα του (K-)SIF έναντι του FIF 4.3. Σημείο αναφοράς ανίχνευσης ανωμαλιών πραγματικών δεδομένων 5. Συζήτηση & Συμπεράσματα, Δηλώσεις Επιπτώσεων και Παραπομπές Παράρτημα Α. Πρόσθετες πληροφορίες σχετικά με την υπογραφή Β. Αλγόριθμοι K-SIF και SIF Γ. Πρόσθετα Αριθμητικά Πειράματα Γ. Πρόσθετα Αριθμητικά Πειράματα Σε αυτή την ενότητα, παρουσιάζουμε πρόσθετα αριθμητικά πειράματα για την υποστήριξη των προτεινόμενων αλγορίθμων και ορισμάτων που αναπτύχθηκαν στο κύριο σώμα της εργασίας. Αρχικά, περιγράφουμε τον ρόλο του βάθους της υπογραφής στους αλγόριθμους και εξηγούμε πώς αυτή η παράμετρος τους επηρεάζει. Παρέχουμε τετραγωνίδια για δύο σύνολα δεδομένων που δημιουργούνται και υποστηρίζουμε τη σημασία της παραμέτρου βάθους σε αυτό το πλαίσιο. Στη συνέχεια, παρέχουμε πρόσθετα πειράματα σχετικά με το πλεονέκτημα ανθεκτικότητας έναντι του θορύβου του (K)-SIF έναντι του FIF, που σχετίζονται με την Ενότητα 4.2 του κύριου σώματος της εργασίας. Η τρίτη παράγραφος αναφέρεται στα δεδομένα που δημιουργήθηκαν για το πείραμα «ανταλλαγής γεγονότων» στην ενότητα 4.2 του κύριου σώματος της εργασίας παρουσιάζεται. Παρέχουμε ένα σχήμα για οπτικοποίηση και καλύτερη κατανόηση. Παρατηρούμε περαιτέρω πώς κατασκευάσαμε τα δεδομένα. Στη συνέχεια, η τέταρτη υποενότητα δείχνει τον υπολογιστικό χρόνο των προτεινόμενων αλγορίθμων με άμεση σύγκριση με το FIF. Στη συνέχεια, παρουσιάζεται ένα πρόσθετο πείραμα που παρουσιάζει περαιτέρω στοιχεία για τη δύναμη διάκρισης σε σχέση με την εργασία AD του (K)-SIF έναντι του FIF. Τέλος, η τελευταία υποενότητα δείχνει έναν Πίνακα που περιγράφει πληροφορίες σχετικά με το μέγεθος των συνόλων δεδομένων που σχετίζονται με το σημείο αναφοράς στην Ενότητα 4.3. Γ.1. Ο ρόλος του βάθους της υπογραφής Σε αυτό το πείραμα, διερευνούμε την επίδραση αυτής της παραμέτρου στο K-SIF με δύο διαφορετικές κατηγορίες στοχαστικών διεργασιών. Η τρισδιάστατη κίνηση Brown (με μ = 0 και σ = 0,1), που χαρακτηρίζεται από τις δύο πρώτες ροπές της, και η μονοδιάστατη διαδικασία διάχυσης Merton-jump, μια διαδικασία βαριάς ουράς που χρησιμοποιείται ευρέως για τη μοντελοποίηση του χρηματιστηρίου. Σε ένα τέτοιο Αλγόριθμοι Με τον τρόπο αυτό, συγκρίνουμε την πρώτη κατηγορία στοχαστικών μοντέλων με τη δεύτερη, η οποία, αντίθετα, δεν μπορεί να χαρακτηριστεί από τις δύο πρώτες στιγμές και παρατηρούμε τις επιδόσεις του (K)-SIF από αυτή την άποψη. Υπολογίσαμε το K-SIF με τρία λεξικά με επίπεδα περικοπής που ποικίλλουν σε {2, 3, 4} και για τα δύο προσομοιωμένα σύνολα δεδομένων. Ορίσαμε τον αριθμό των διαχωρισμένων παραθύρων σε 10, σύμφωνα με την προηγούμενη ενότητα, και τον αριθμό των δέντρων σε 1000. Μετά από αυτό, υπολογίσαμε τη συσχέτιση Kendall της κατάταξης που επιστρέφεται από αυτά τα μοντέλα για τις τρεις ρυθμίσεις ανά ζεύγη: επίπεδο 2 έναντι επιπέδου 3 , επίπεδο 2 έναντι επιπέδου 4 και επίπεδο 3 έναντι επιπέδου 4. Επαναλάβαμε αυτό το πείραμα 100 φορές και αναφέρουμε τα κουτιά συσχέτισης στο Σχήμα 5 για την κίνηση Brown και στο Σχήμα 6 για τη διαδικασία διάχυσης Merton-jump. Σημειώστε ότι η αριστερή και η δεξιά γραφική παράσταση αναφέρονται στις διαφορετικές παραμέτρους διαχωρισμού παραθύρου που επιλέχθηκαν για το K-SIF, που αντιστοιχούν σε ω = 3 για τους αριστερούς πίνακες, ενώ, για τους δεξιούς, επιλέξαμε ω = 5. Αυτά τα τετραγωνίδια δείχνουν τη συσχέτιση Kendall tau μεταξύ της βαθμολογίας που επιστρέφεται από έναν από τους αλγόριθμους που χρησιμοποιούνται με ένα συγκεκριμένο βάθος και τον ίδιο αλγόριθμο με διαφορετικό βάθος. Τα αποτελέσματα K-SIF με τα τρία λεξικά παρουσιάζονται με μπλε, πορτοκαλί και πράσινο για τα κυματίδια Brownian, Cosine και Green Gauss, αντίστοιχα. Αντίθετα, τα κουτιά SIF είναι μωβ. Ο άξονας y αναφέρεται στις τιμές συσχέτισης Kendall και ο άξονας x στις ρυθμίσεις των τιμών βάθους ως προς τις οποίες ήταν η συσχέτιση. Ένας υψηλός συσχετισμός υποδεικνύει μια ισοδύναμη κατάταξη που επιστρέφεται από τον αλγόριθμο με διαφορετικές παραμέτρους βάθους. Επομένως, εάν η συσχέτιση είναι υψηλή, αυτό υποδηλώνει ότι αυτή η παράμετρος δεν επηρεάζει τα αποτελέσματα του εξεταζόμενου αλγορίθμου και θα πρέπει να επιλεγεί μικρότερο βάθος για καλύτερη υπολογιστική απόδοση. Εμφανίζονται υψηλές συσχετίσεις τόσο για το SIF (μωβ κουτιά) όσο και για το K-SIF για τα δύο λεξικά, δηλαδή το Brownian και το Cosine (μπλε και πορτοκαλί τετραγωνίδια). Επομένως, συνιστάται η επιλογή του ελάχιστου επιπέδου περικοπής για τη βελτίωση της υπολογιστικής απόδοσης. Για τους ίδιους αλγόριθμους, εντοπίζονται ελαφρώς χαμηλότερες συσχετίσεις στην περίπτωση των διεργασιών Merton, αλλά ακόμα γύρω στα 0,8 επίπεδα, υποστηρίζοντας επομένως έναν ισοδύναμο ισχυρισμό. Στην περίπτωση του K-SIF με το λεξικό Gaussian (πράσινα κουτιά), επιτυγχάνεται μια πολύ μεγαλύτερη απόκλιση όσον αφορά τα αποτελέσματα συσχέτισης μεταξύ των τριών σεναρίων που δοκιμάστηκαν. Επιπλέον, στην περίπτωση των διαδικασιών διάχυσης Merton-jump, τα αποτελέσματα δείχνουν χαμηλότερη συσχέτιση, σύμφωνα με τα άλλα αποτελέσματα. Επομένως, στην περίπτωση του K-SIF με τέτοιο λεξικό, το βάθος θα πρέπει να επιλεγεί προσεκτικά, καθώς διαφορετικές παράμετροι μπορεί να οδηγήσουν σε καλύτερη ανίχνευση των στιγμών της υποκείμενης διαδικασίας. Γ.2. Ανθεκτικότητα στο θόρυβο Αυτό το μέρος παρέχει πρόσθετα πειράματα σχετικά με το πλεονέκτημα ανθεκτικότητας έναντι του θορύβου του (K)-SIF έναντι του FIF, που σχετίζονται με την Ενότητα 4.2 του κύριου σώματος του χαρτιού. Η διαμόρφωση για την προσομοίωση δεδομένων έχει ως εξής. Ορίζουμε ένα συνθετικό σύνολο δεδομένων 100 ομαλών συναρτήσεων που δίνονται από όπου ε(t) ~ N (0, 0,5). Επιλέγουμε ξανά τυχαία 10% και δημιουργούμε ελαφρώς θορυβώδεις καμπύλες προσθέτοντας μικρό θόρυβο σε ένα άλλο υποδιάστημα σε σύγκριση με το πρώτο, π.χ. όπου ε(t) ~ N (0, 0,1). Το Σχήμα 7 παρέχει μια συνοπτική απεικόνιση του συνόλου δεδομένων που δημιουργήθηκε στον πρώτο πίνακα. Οι 10 ανώμαλες καμπύλες απεικονίζονται με κόκκινο χρώμα, ενώ οι 10 που θεωρούνται ελαφρώς θορυβώδεις κανονικά δεδομένα απεικονίζονται με μπλε. Οι υπόλοιπες καμπύλες, που θεωρούνται κανονικά δεδομένα, παρέχονται με γκρι χρώμα. Η ιδέα είναι να κατανοήσουμε πώς η επιλογή του λεξικού επηρεάζει τα K-SIF και FIF στην ανίχνευση ελαφρώς θορυβωδών κανονικών δεδομένων έναντι μη φυσιολογικού θορύβου. Τα αποτελέσματα για το K-SIF και το FIF παρέχονται στο δεύτερο, τρίτο και τέταρτο πλαίσιο του Σχήματος 7, αντίστοιχα. Υπολογίζουμε το K-SIF με ένα λεξικό Brownian, k = 2 και ω = 10 και FIF για α = 0 και α = 1 επίσης με ένα λεξικό Brownian. Τα χρώματα των πλαισίων αντιπροσωπεύουν τη βαθμολογία ανωμαλίας που έχει εκχωρηθεί σε κάθε καμπύλη για τον συγκεκριμένο αλγόριθμο. Στο δεύτερο (K-SIF) και στο τελευταίο (FIF με α = 0), η βαθμολογία ανωμαλίας αυξάνεται από κίτρινο σε σκούρο μπλε, δηλαδή μια σκούρα καμπύλη είναι ανώμαλη και το κίτρινο είναι κανονικό, ενώ, στην τρίτη γραφική παράσταση (FIF με α = 1) είναι το αντίθετο, δηλαδή μια σκούρα καμπύλη είναι φυσιολογική και το κίτρινο είναι μη φυσιολογικό. Είναι δυνατό να παρατηρήσετε πώς το K-SIF μπορεί να αναγνωρίσει με επιτυχία θορυβώδη και μη φυσιολογικά δεδομένα ως τέτοια. Πράγματι, ενώ τα μη φυσιολογικά δεδομένα είναι χρωματισμένα με σκούρο μπλε, τα θορυβώδη εμφανίζουν ένα κίτρινο χρώμα. Αντίθετα, στο FIF με α = 1 (τρίτο πλαίσιο) τόσο οι μη φυσιολογικές όσο και οι ελαφρώς θορυβώδεις καμπύλες προσδιορίζονται ως κανονικά δεδομένα (δεδομένης της αντίστροφης κλίμακας και με σκούρα μπλε χρώματα). Όταν πρόκειται για FIF με α = 0 (τελευταίο και τέταρτο πλαίσιο), τόσο τα μη φυσιολογικά όσο και τα θορυβώδη δεδομένα βαθμολογούνται ως μη φυσιολογικές καμπύλες. Ως εκ τούτου, το FIF και με τις δύο ρυθμίσεις της παραμέτρου α, δεν μπορεί να παρέχει διαφορετική βαθμολογία σε θόρυβο και ελαφρώς θορυβώδη δεδομένα. Το K-SIF, αντί αυτού, εκτελεί με επιτυχία μια τέτοια εργασία. Γ.3. Ανταλλαγή συνόλου δεδομένων συμβάντων Αυτό το μέρος παρέχει μια απεικόνιση του συνόλου δεδομένων που χρησιμοποιήθηκε στο πείραμα «ανταλλαγής συμβάντων» στην ενότητα 4.2 του βασικού εγγράφου. Το Σχήμα 8 δείχνει τα προσομοιωμένα δεδομένα. Παρατηρήστε ότι ορίζουμε ένα συνθετικό σύνολο 100 ομαλών συναρτήσεων που δίνονται από με t ∈ [0, 1] και q σε ισοδιάστημα [1, 1.4]. Στη συνέχεια, προσομοιώνουμε τις εμφανίσεις γεγονότων προσθέτοντας Gaussian θόρυβο σε διαφορετικά τμήματα των συναρτήσεων. Επιλέγουμε τυχαία το 90% από αυτά και προσθέτουμε τιμές Gauss σε ένα υποδιάστημα, π.χ. όπου ε(t) ~ N (0, 0,8). Θεωρούμε το υπόλοιπο 10% ως μη φυσιολογικό προσθέτοντας τα ίδια 'συμβάντα' σε ένα άλλο υποδιάστημα σε σύγκριση με το πρώτο, π.χ. όπου ε(t) ~ N (0, 0,8). Στη συνέχεια κατασκευάσαμε δύο πανομοιότυπα συμβάντα που συμβαίνουν σε διαφορετικά μέρη των συναρτήσεων, οδηγώντας σε απομονωτικές ανωμαλίες. Γ.4. Υπολογιστικός χρόνος K-SIF, SIF και FIF Γ.5. K-SIF και SIF: Καλύτερη διάκριση των ανωμαλιών σε σύγκριση με το FIF Σε αυτό το μέρος, κατασκευάζουμε ένα πρόσθετο πείραμα παιχνιδιού για να δείξουμε τη δύναμη διάκρισης του (K-)SIF έναντι του FIF. Προσομοιώνουμε 100 επίπεδες διαδρομές Brownian με το 90% των κανονικών δεδομένων με μετατόπιση μ = [0, 0] και τυπική απόκλιση σ = [0,1, 0,1] και 10% μη φυσιολογικών δεδομένων με μετατόπιση μ = [0, 0] και τυπική απόκλιση σ = [0,4, 0,4]. Το Σχήμα 10 παρουσιάζει μια προσομοίωση αυτού του συνόλου δεδομένων. Σημειώστε ότι, τα μωβ μονοπάτια αντιπροσωπεύουν κανονικά δεδομένα, ενώ, σε πορτοκαλί, αντιπροσωπεύονται τα μη φυσιολογικά. Σε αυτό το σύνολο δεδομένων, υπολογίζουμε FIF (με α = 1 και λεξικό Brownian), K-SIF (με k = 2, ω = 10 και λεξικό Brownian) και SIF (με k = 2 και ω = 10). Για να εμφανιστούν οι βαθμολογίες που επιστρέφονται από τον αλγόριθμο, παρέχουμε το Σχήμα 11. Σημειώστε ότι, τα διαγράμματα εμφανίζουν τις βαθμολογίες για αυτές τις 100 διαδρομές, αφού τις έχουν ταξινομήσει. Ως εκ τούτου, ο άξονας x παρέχει τον δείκτη των ταξινομημένων βαθμολογιών, ενώ ο άξονας y αντιπροσωπεύει τις τιμές βαθμολογίας. Όσον αφορά την προσομοίωση, σχεδιάζουμε με μωβ τις βαθμολογίες των κανονικών δεδομένων και με πορτοκαλί τις βαθμολογίες των μη κανονικών δεδομένων. Οι τρεις πίνακες αναφέρονται σε FIF, K-SIF και SIF, αντίστοιχα. Είναι δυνατόν να παρατηρήσουμε ότι οι βαθμολογίες των K-SIF και SIF διαχωρίζουν καλά τα μη φυσιολογικά δεδομένα, με ένα άλμα στις βαθμολογίες που είναι αρκετά έντονο, δηλαδή οι βαθμολογίες των κανονικών δεδομένων είναι σχετικά απομακρυσμένες από τις βαθμολογίες του μη φυσιολογικού δεδομένα. Αν κάποιος επικεντρωθεί στο FIF, τότε η διάκριση τέτοιων ανωμαλιών φαίνεται να είναι πιο δύσκολη. ο πρώτος πίνακας δείχνει, στην πραγματικότητα, μια συνεχή ως προς τη βαθμολογία που επιστρέφεται από τον αλγόριθμο AD, η οποία δεν διαχωρίζει κανονικά και μη κανονικά δεδομένα. Συνοπτικά, οι προτεινόμενοι αλγόριθμοι που αξιοποιούν τον πυρήνα υπογραφής (K-SIF) και τη συντεταγμένη υπογραφής (SIF) παρουσιάζουν πιο αξιόπιστα αποτελέσματα σε αυτό το πειραματικό περιβάλλον, υποδηλώνοντας την αποτελεσματικότητά τους στον εντοπισμό ανωμαλιών στο προσομοιωμένο σύνολο δεδομένων. Η ανίχνευση της σειράς με την οποία συμβαίνουν τα γεγονότα είναι ένα πολύ πιο ενημερωτικό χαρακτηριστικό από την ενσωμάτωση μιας λειτουργικής πτυχής στον αλγόριθμο ανίχνευσης ανωμαλιών. Αυτή η πτυχή πρέπει να διερευνηθεί και να διερευνηθεί περαιτέρω, ιδιαίτερα στους τομείς εφαρμογής όπου λαμβάνονται υπόψη διαδοχικά δεδομένα, όπως χρονοσειρές. Γ.6. Δεδομένα αναφοράς ανίχνευσης ανωμαλιών Γ.7. Υπόβαθρο στη συνάρτηση βάθους δεδομένων Στατιστικά εργαλεία γνωστά ως βάθη δεδομένων χρησιμεύουν ως βαθμολογίες εγγενούς ομοιότητας σε αυτό το πλαίσιο. Τα βάθη δεδομένων προσφέρουν μια απλή γεωμετρική ερμηνεία, ταξινομώντας σημεία από το κέντρο προς τα έξω σε σχέση με μια κατανομή πιθανοτήτων (Tukey, 1975, Zuo και Serfling, 2000). Γεωμετρικά, τα βάθη δεδομένων μετρούν το βάθος ενός δείγματος σε μια δεδομένη κατανομή. Παρά το γεγονός ότι προσελκύουν την προσοχή από τη στατιστική κοινότητα, τα βάθη των δεδομένων έχουν παραβλεφθεί σε μεγάλο βαθμό από την κοινότητα μηχανικής μάθησης. Έχουν προταθεί πολυάριθμοι ορισμοί, ως εναλλακτικοί στην παλαιότερη πρόταση, το βάθος του μισού χώρου που εισήχθη στο (Tukey, 1975). Μεταξύ πολλών άλλων, αυτά περιλαμβάνουν: το απλοϊκό βάθος (Liu, 1988), το βάθος προβολής (Liu and Singh, 1993), το ζωνοειδές βάθος (Koshevoy and Mosler, 1997), το βάθος παλινδρόμησης (Rousseeuw and Hubert, 1999), το χωρικό βάθος (Vardi και Zhang, 2000) ή το Το βάθος AI-IRW (Clemen ´ c¸on et al., 2023) διαφέρει στις ιδιότητες και τις εφαρμογές τους. Το βάθος δεδομένων βρίσκει πολλές εφαρμογές, όπως ο καθορισμός ισχυρών μετρήσεων μεταξύ της κατανομής πιθανοτήτων (Staerman et al., 2021b) που ανταγωνίζονται με τις ισχυρές βέλτιστες μετρήσεις που βασίζονται στη μεταφορά (Staerman et al., 2021a), η εύρεση επιθέσεων αντιπάλου στην όραση υπολογιστή (Picot et al., 202 Dadalto et al., 2023) ή ανίχνευση παραίσθηση σε μετασχηματιστές NLP (Colombo et al., 2023; Darrin et al., 2023; Colombo et al., 2022) και LLM (Himmi et al., 2024). Αυτό το χαρτί είναι με άδεια CC BY 4.0 DEED. διαθέσιμο στο arxiv