La nuova AI di Google trasforma i modelli complessi in codice semplice e modificabile

Gli autori : Walker Ravina, walkerravina@google.com (Google) Ethan Sterling, esterling@google.com (Google) Olexiy Oryeshko, olexiy@google.com (Google) Nathan Bell, nathanbell@google.com (Google) Honglei Zhuang, hlz@google.com (Google) Xuanhui Wang, xuanhui@google.com (Google) Yonghui Wu, yonghui@google.com (Google) Alexander Grushetsky, grushetsky@google.com (Google) Gli autori : Città del Nord, Walker Ravina, walkerravina@google.com (Google) Giuseppe Battista, esterling@google.com (Google) Olexiy Oryeshko, olexiy@google.com (Google) Nathan Bell, nathanbell@google.com (Google) Città di Honglei Zhuang, hlz@google.com (Google) Xuanhui Wang, xuanhui@google.com (Google) Il sito di Yonghui Wu, yonghui@google.com (Google) Alexander Grushetsky, grushetsky@google.com (Google) astratto L'obiettivo della distillazione dei modelli è quello di trasferire fedelmente le conoscenze dei modelli degli insegnanti a un modello che sia più veloce, più generalizzabile, più interpretabile, o possieda altre caratteristiche desiderabili. La leggibilità umana è uno standard importante e desiderabile per l'interpretabilità dei modelli appresi dalla macchina. I modelli leggibili sono trasparenti e possono essere rivisti, manipolati e distribuiti come il codice sorgente tradizionale. Di conseguenza, tali modelli possono essere migliorati al di fuori del contesto dell'apprendimento automatico e modificati manualmente se desiderato. Dato che la formazione diretta di tali modelli è difficile, proponiamo di formare modelli interpretabili utilizzando metodi convenzionali, e quindi distillarli in codice conciso e leggibile dall'uomo. La metodologia di distillazione proposta approccia le funzioni numeriche univariate di un modello con curve lineari a pezzi in modo localizzato. Le rappresentazioni del modello di curva risultanti sono accurate, concise, leggibili dall'uomo e ben regolate dalla costruzione. Descriviamo un algoritmo di fissaggio della curva a pezzi che produce risultati di alta qualità in modo efficiente e affidabile in una vasta gamma di casi di utilizzo. Dimostriamo l'efficacia della tecnica di distillazione complessiva e il nostro algoritmo di fissaggio della curva utilizzando quattro set di dati per le attività di classificazione, regressione e classificazione. CCS concetti di . Computing methodologies Machine learning approaches Parole chiave Distillazione del modello; leggibile dall'uomo; curve pezzi-lineari 1 Introduzione Modelli interpretabili sono critici per scenari decisionali ad alto impatto [ In questi casi, la decisione di condurre una decisione di garanzia o di condanna, la valutazione dell'ammissibilità del prestito, e la decisione di condurre un trattamento medico. I contributi individuali dovrebbero essere esaminabili e comprensibili, al fine di garantire trasparenza, responsabilità e equità dei risultati. 21 e.g Per raggiungere l'interpretabilità intrinseca, le funzioni univariate sono ampiamente utilizzate nei modelli interpretabili. ], il modello è una somma di funzioni di forma univariate, 11 dove xi 's sono n caratteristiche e fi 's sono le funzioni di forma. Tale modello è semplice ma spesso meno accurato di un modello con interazioni di caratteristiche. Recentemente, Lou di [ ] ha dimostrato che l'aggiunta di un numero limitato di interazioni tra caratteristiche a coppia consente ai modelli additivi di stile GAM di catturare una frazione significativa della precisione di un modello interattivo completo. e al 18 o prodotti di gruppi di caratteristiche, dove la grandezza di una funzione (cioè fi) è modulata da una funzione (cioè gi o gi,j) di un'altra funzione "context" (i.e.ci) [32]. dove la funzione esterna gi cattura il comportamento non lineare [7].In effetti, il teorema di rappresentazione Kolmogorov-Arnold [16, 27] garantisce che ogni funzione multivariata continua di n input può essere rappresentata come la somma di 2n di tali termini, In pratica una singola funzione esterna è spesso sufficiente, dando un modello interpretabile. Nei modelli GAM classici, le spline sono utilizzate come funzioni di forma [ ].Un'altra funzione di forma comunemente usata è la funzione lineare a pezzo [ Queste rappresentazioni contengono un piccolo numero di variabili ( . nodi) e quindi sono concisi e leggibili dall'uomo. Tuttavia, l'ottimizzazione diretta di tali rappresentazioni produce spesso modelli meno accurati rispetto alle rappresentazioni di modelli alternativi. di [ ] ha dimostrato che i GAM di spline di apprendimento sono meno accurati rispetto ai GAM di foresta di decisione stimolata. I nostri esperimenti mostrano risultati simili per l'ottimizzazione diretta dei GAM composti da curve lineari a pezzi utilizzando metodi di discesa graduale stochastico (SGD). In generale, le rappresentazioni dei modelli utilizzando i GAM di foresta di decisione hanno il vantaggio durante l'ottimizzazione dei modelli, ma i modelli risultanti non sono leggibili dall'uomo. Questo è il caso anche quando esiste un modello più semplice con una forma concisa e leggibile dall'uomo che fornisce una precisione comparabile. 11 30 e.g e al 17 Ispirato al lavoro di distillazione del modello in cui relativamente piccole foreste decisionali o reti neurali possono essere distillate da assemblaggi molto più grandi, ma non addestrate direttamente dai dati, per corrispondere all'accuratezza di modelli complessi. di ], proponiamo di distillare modelli interpretabili in rappresentazioni leggibili in un processo separato dopo l'ottimizzazione del modello. Questo disconnette la rappresentazione del modello iniziale, imparato dalla rappresentazione del modello finale, pubblicato. Ad esempio, la metodologia di distillazione proposta può essere applicata a modelli additivi addizionali addestrati utilizzando alberi decisionali potenziati bagged [ ], as well as additive neural nets 5 12 17 [ 2 ] Il 32 . In questo articolo, descriviamo una tecnica per la distillazione di modelli composti da componenti univariati in rappresentazioni leggibili dall'uomo, in particolare, le curve lineari a pezzi descritte nella Sezione La produzione della nostra tecnica di distillazione è illustrata nell'elenco e figura che mostrano rappresentazioni textuali e grafiche di curve lineari ottenute applicando il nostro approccio a una foresta decisionale GAM addestrata sul dataset COMPAS (descritto nella Sezione Il modello distillato è una rappresentazione concisa del modello GAM della foresta decisionale e viene convertito in codice sorgente leggibile dall'uomo. Da qui in poi, useremo "curve" per riferirci a curve lineari a pezzi, "modelli curve" per riferirsi a modelli in cui ogni componente è una curva, e "codice" per riferirsi alle rappresentazioni textuali di modelli o curve. di 2.2. 1 1, di 2.1). Il resto di questo articolo è strutturato come segue.Dopo aver presentato i preliminari nella sezione Vediamo quali sono i vantaggi dell’utilizzo di modelli di curve Quindi descriviamo il processo di distillazione localizzata in Sezione e l'algoritmo di approssimazione lineare a pezzi, a volte indicato come regressione segmentata [ ], per creare modelli di curve in Sezione Infine, presentiamo i risultati sperimentali per i set di dati: COMPAS, FICO, MSLR-WEB30K e CWS in Sezione e conclude il documento in sezione 2, 3. 4 30 5. 6 7. 2 Preliminari Durante tutto il documento, useremo i set di dati utilizzati in questo documento come esempi concreti per spiegare i nostri metodi. Pertanto, li descriviamo prima in questa sezione. 2.1 Data Sets Abbiamo usato i seguenti quattro set di dati per rappresentare impostazioni diverse: classificazione, regressione e classificazione. The COMPAS dataset1 is the result of a ProPublica investigation [ ] into possible racial bias of the proprietary COMPAS model score for defendants in Broward county, Florida. The dataset has been studied extensively in the context of bias, fairness, and interpretability [ , , , ]. Labels are binary and indicate whether recidivism occurred for an individual within a time period. We use area under the receiver operating characteristic curve (AUC-ROC) to measure classifier accuracy. COMPAS has 6 features and four of them are used as examples in this paper: age, priors_count, length_of_stay, and c_charge_degree. 4 8 9 14 23 Il set di dati FICO [1] è composto da applicazioni di credito anonime nel mondo reale insieme a punteggi di rischio. Le etichette sono un punteggio di rischio per un individuo. Utilizziamo l'errore medio quadrato radicale (RMSE) per misurare l'accuratezza della regressione. FICO ha 24 fea-ture e utilizziamo due caratteristiche come esempi nel nostro documento: MSinceMostRecentDelq, Months Since Most Recent Delinquency; PercentTradesWBalance, Percent Trades with Balance. The MSLR-WEB30K dataset [ ] is a widely used learning-to-rank benchmark dataset. Labels are per document relevance judgements. We use normalized discounted cumulative gain at 𝑘 = 5 (NDCG@5) to measure ranker accuracy. MSLR-WEB30K is significantly larger both in number of features (136) and number of training examples (~2,000,000 per cross-validation fold). We use it to compare our curve approximation algorithm to [ ], a publicly available alternative, on the basis of accuracy, robustness and efficiency. We use two features as examples in our paper: feature_0011, Body stream length; feature_0128, Inlink number. 19 pwlf 13 Il set di dati Chrome Web Store (CWS) è un set di dati privato e anonimo proveniente dai log di Chrome Web Store. Ogni query corrisponde a una visita al Chrome Web Store. Gli elementi all'interno di ciascuna query erano quelli mostrati all'utente. Le etichette corrispondono alle azioni dell'utente come cliccare, installare, assicurare l'accuratezza del ranking. Un dato simile, ma distinto, del Chrome Web Store è stato precedentemente studiato da Zhaung et al. [32]. A differenza di quel lavoro precedente, in questo caso non utilizziamo le caratteristiche di "context" a livello di query, ma utilizziamo solo 14 caratteristiche a livello di elemento. Le query sono anche distinte. In ogni caso, distilliamo una foresta decisionale GAM e valutiamo l'accuratezza dei modelli di curva distillata. I set di dati COMPAS e FICO rappresentano domini ad alto importo [ ] in cui i vantaggi dei modelli curve, discussi di seguito, sono particolarmente convincenti. FICO, MSLR-WEB30K, e CWS sono stati precedentemente studiati nel contesto dell'interpretabilità Furthermore, the results from MSLR-WEB30K demonstrate that the accuracy of this approach is not limited to small datasets. 21 [2, 7 , 18 di Il 32 . 2.2 Curve lineari Una curva lineare a pezzo ( ) è definito da un elenco di punti di controllo S = [(xk , yk )]K k = 1 attraverso il quale la curva deve passare. Tra i punti di controllo, i valori di output y sono determinati eseguendo un'interpolazione lineare tra i punti di controllo vicini. Al di là dei punti di controllo più a sinistra o più a destra, i valori di output sono limitati al valore yk del punto di controllo vicino. Più formalmente, assumendo che xk 's sono ordinati, cioè xk < xk +1, la definizione di una curva lineare a pezzi può essere descritta come: PWLCurve Nella maggior parte dei casi di interesse 5 o 6 punti di controllo, definendo 4 o 5 segmenti interni, è sufficiente per catturare il comportamento desiderato. Consentiamo una x-transformazione opzionale, specificata con l'argomento fx, per adattare le curve ai dati con scale diverse. Quando una x-transformazione è presente, viene applicata al valore di input e ai valori x di tutti i punti di controllo, e poi viene eseguita l'interpolazione lineare nello spazio trasformato. Supportiamo identità (default), log, log1p e symlog1p trasformazioni. Qui symlog1p è definito come sgn(x) * log1p(abs(x)) ed è adatto a caratteristiche altamente variabili che prendono sia valori positivi che negativi. Funzioni categoriche univariate sono 3 BACKGROUND & MOTIVATION I modelli interpretabili sono critici per le decisioni di alto importo [21] e forniscono molti vantaggi rispetto a strutture di modelli più complesse [ , In questa sezione spieghiamo come la distillazione di mod-els interpretabili in modelli curvi rafforza questi vantaggi e affronta una varietà di sfide ingegneristiche del mondo reale. . 6 10 riduce un nuovo problema di apprendimento automatico a un problema di ingegneria software stabilito con un’abbondanza di soluzioni esistenti 4.1 Maggiore trasparenza A model is transparent if it provides a textual or graphical representation that enables its behavior to be understood comprehensively. One way in which the proposed method provides greater transparency is by simplifying graphical depictions of a model while retaining its essential characteristics. It is often argued, implicitly or explicitly, that the shape plots of an interpretable model are an Mentre questa affermazione è strettamente vera, in generale è fuorviante. A meno che non venga data una guida specifica, gli esseri umani disconteranno naturalmente alcuni dettagli finemente granulati delle trame quando sviluppano una comprensione del modello. Distillando i modelli interpretabili in una rappresentazione concisa, rifiutiamo le char-acteristics estranee e riduciamo lo sforzo mentale necessario per comprendere il modello. Ad esempio, non è immediatamente ovvio quale comprensione un individuo dovrebbe derivare dai tratti di forma del feature_0011 (lunghezza del flusso corporeo), e feature_0128 (numero di collegamento) caratteristiche nel modello inizialmente appreso MSLR-WEB30K, mostrato nella Figura Infatti, diversi individui possono derivare comprensioni qualitativamente diverse da queste rappresentazioni grafiche. Tuttavia, data la conoscenza aggiuntiva che il modello di curva distillata rappresentato dalle curve sovrapposte nella Figura has nearly identical accuracy, an observer can make much stronger inferences about the model’s essential characteristics. Interpretability can be increased even further by imposing monotonicity constraints. We discuss the effect of such constraints in Section exact description 2. 2 6.4. È chiaro che quando la distillazione produce un modello più semplice con una precisione comparabile direbbe che il processo di distillazione ha avuto successo.Tuttavia, casi in cui la distillazione produce un modello con una precisione inferiore richiedono ulteriori indagini perché l'apparente "fallo" può spesso essere attribuito a caratteristiche essenziali del modello dell'insegnante che non sono state trasferite con successo allo studente. Esaminiamo un esempio rappresentativo di questo fenomeno nella sezione Mentre una discussione completa di questo principio è al di là del campo di applicazione di questo documento, si osserva che l'idea può essere vista come un'estensione dell'uso di vincoli strutturali per definire modelli "interpretabili", appena attualmente applicati alla struttura delle singole funzioni nel modello. . curve con un piccolo numero di punti di controllo troncati) la sua trasparenza sarebbe messa in discussione. perché violano una nozione prescritta di interpretabilità umana di 6.2 e.g 3.2 Regolarizzazione costruttiva Il metodo proposto può anche essere visto come un processo di regolarizzazione post-hoc che è completamente compatibile con e complementare alle tecniche di regolarizzazione basate sull'ottimizzazione ( Nel contesto della regolarizzazione, la nostra enfasi sulla concisione è allineata al principio della lunghezza minima della descrizione [ ] per la selezione dei modelli. Ustun e Rudin [ ] applicato un ragionamento simile per motivare modelli lineari con piccoli pesi a valore intero. La lunghezza di descrizione limitata delle curve fornisce una capacità limitata per catturare il comportamento idiosincratico-ior. Come risultato, la distillazione curva rimuove con successo le aberrazioni dalle funzioni del modello dell'insegnante. Questo effetto di regolarizzazione può essere visto nella Figura e figura Per trovare il modello di curva più conciso possiamo ripetutamente applicare il metodo proposto con il numero di punti di controllo diminuendo. Naturalmente, l'ottimalità di questo approccio è soggetta alle limitazioni della nostra metodologia di distillazione localizzata (vedere Sezione and curve approximation algorithm (see Section Mentre è difficile confrontare direttamente i modelli con diverse rappresentazioni funzionali, confrontare la lunghezza e la leggibilità del loro codice corrispondente è istruttivo. e.g 28 24 1 2. 4) di 5 ) Un vantaggio pratico della regolarizzazione basata su curve è che la regolarità è imposta dalla costruzione e la complessità delle singole curve è facilmente visibile e quantificabile. Pertanto, le organizzazioni che adottano modelli di curva possono impostare linee guida obiettive sulla complessità del modello che gli sviluppatori possono prevedere quando presentano candidati al modello per l'approvazione. Tali linee guida possono specificare il numero massimo di segmenti di curva, il numero massimo di cifre significative per punto di controllo di curva, o la monotonia della curva. Simile all'uso di numeri nulla-up-my-sleeve nella crittografia. In generale, standardizzare lo sviluppo intorno ai modelli di curva è un modo semplice per le organizzazioni di applicare sistematicamente le migliori pratiche, difendere contro errori e trappole comuni e accelerare la verifica e l'approvazione dei modelli. dirigenti, responsabili del prodotto, ecc.) per partecipare a questo processo di approvazione. 29 e.g 3.3 Codice leggibile ed editoriale Il codice del modello di curva può essere letto, rivisto, unito e versionato come il codice sorgente convenzionale. Si può capire come un modello curva si comporterebbe in condizioni nuove o estreme “valutando” mentalmente il modello in scenari ipotetici “cosa se?” senza la necessità di strumenti aggiuntivi. Sottoporre i modelli a un processo di revisione del codice sorgente tradizionale facilita un esame più rigoroso delle caratteristiche del modello e una maggiore responsabilità di quanto non sia possibile con i modelli non leggibili. Infatti, condurre una “valutazione del modello” attraverso la revisione del codice sorgente assicura che il modello candidato stesso – non una descrizione separata, potenzialmente inconsistente o artefatto del modello o come è stato addestrato – sia oggetto di revisione. Nel caso in cui si scopri un comportamento del modello indesiderato, il codice del modello può essere modificato direttamente per tali problemi corretti. Ad esempio, nel di [ ] ha discusso di come un tale approccio di addestramento con caratteristiche pregiudiziali e quindi rimuovendole possa potenzialmente essere migliore di un semplice addestramento senza caratteristiche pregiudiziali. 1. e al 2 La trasparenza del modello è essenziale nel contesto delle decisioni ad alto impatto [ ] arising in criminal justice, finance, health care, and other areas. Providing the complete source of the model in simple, portable, human-readable code makes the models transparent. Compared to human-readable models produced by CORELS [ ], che sono espressi in linguaggio universalmente comprensibile, i modelli curvi sacrificano l'accessibilità per una maggiore espressività e applicazione a scopo generale. 21 3 3.4 Modello di sviluppo collaborativo La distillazione curva è compatibile con qualsiasi algoritmo o tecnica di modellazione che si traduce in funzioni univariate. Nella sezione esperimenti applichiamo la tecnica proposta per decidere le GAM forestali su diversi set di dati. ] applied the proposed technique to GAMs learned via neural networks, as well as similar neural networks with limited interactions via multiplicative pairs. Organizing collaborative development around curve models enables engineers to apply a plurality of different tools, techniques, or platforms to optimize components of a (potentially large-scale) model. Engineers are free to choose a modeling approach that maximizes their productivity, similarly to how engineers use multiple IDEs, code formatters, or linters to collaboratively develop software. Curve distillation can be viewed as a “format conversion” tool that translates an arbitrary and potentially exotic model representation into a fixed, agreed-upon vocabulary of human-readable building blocks. 32 3.5 Sviluppo diretto I modelli curve sono veloci da valutare e facili da implementare. Poiché la valutazione richiede un calcolo minimo - solo una manciata di operazioni di punto galleggiante per curva - i modelli curve sono adatti per applicazioni critiche per le prestazioni. Le curve sono una rappresentazione portabile, agnostica alla piattaforma che può essere supportata in modo nativo in una varietà di lingue o sistemi con poco sforzo. mostra un'implementazione C++ di un modello COMPAS con 2 segmenti. In generale, i modelli curve sono facili da implementare perché offrono una moltitudine di opzioni di integrazione. Le curve possono essere incorporate in file di configurazione, trasmesse tramite parametri CGI, incorporate manualmente in applicazioni complesse in modo pezzo, tradotte sistematicamente in una rappresentazione target, o valutate da sistemi di runtime esistenti con alcune estensioni incrementali. 2 4 Distillazione localizzata Il nostro processo di distillazione richiede due input: un modello di insegnante contenente una o più funzioni univariate e un set di dati rappresentativo (generalmente i dati di formazione). Il nostro metodo differisce dalle tecniche di distillazione convenzionali in quanto (1) distilla ogni funzione univariata in isolamento e (2) ottimizza per l'errore quadrato medio (MSE) quando si approssimano ogni funzione univariata. In particolare, ogni funzione univariata nel modello di insegnante viene valutata sul set di dati per produrre coppie di esempi rappresentative (x, y). Per le caratteristiche categoriche discrete creiamo una mappatura in cui ogni x unico è mappato alla media y. utilizzando l'algoritmo di approssimazione descritto nella sezione Se il modello dell'insegnante contiene funzioni univariate incastrate all'interno di altre funzioni univariate, sostituiamo le funzioni sorgenti in modo bottom-up. PWLCurve 5. Il modello finale è costruito sostituendo ogni funzione univariata originale con la sua di approssimazione . PWLCurve Tradizionalmente, la distillazione del modello comporta un'ottimizzazione globale utilizzando lo stesso obiettivo (o almeno simile) della formazione del modello di insegnante originale. Questo obiettivo può differire da un obiettivo MSE puntato. Ad esempio, gli obiettivi di classificazione hanno spesso definizioni a coppia. Perché allora proponiamo un ottimizzazione localizzata us-ing un obiettivo MSE in tutte le circostanze? La risposta primaria è che, nel contesto dei modelli interpretabili, c'è un valore sostanziale nel mantenere una forte corrispondenza uno-a-uno tra ogni funzione sorgente e la funzione bersaglio. In particolare, questo ci consente di visualizzare ogni funzione di forma nel modello dell'insegnante contro la sostituzione della curva corrispondente. Inoltre, possiamo attribuire fallimenti Possiamo dire subito che la funzione di forma di x1 non è stata ben approssimata da una curva. Nella sezione degli esperimenti mostriamo che il comportamento significativo di quasi tutte le funzioni di forma può essere accuratamente catturato da curve con tre a cinque segmenti. Inoltre, quando il comportamento significativo non è catturato, è generalmente dovuto al comportamento intrinsecamente non interpretabile che viene perso. 5 Un approccio globale di ottimizzazione ( ., l'ottimizzazione dei parametri di tutte le curve nel modello bersaglio contemporaneamente) utilizzando una metrica specifica del problema potrebbe produrre un risultato più accurato, è computazionalmente più costoso e mancherebbe la stessa corrispondenza uno-a-uno con il modello insegnante, rendendo più difficili da diagnosticare i fallimenti di distillazione. I. e 5 Approcciamento della curva lineare Data una funzione numerica univariata f (x) → y, il nostro obiettivo è quello di produrre una c (x) → y che approccia fedelmente f (x) riducendo al minimo il MSE (c(x), f (x)) sui dati del campione. . how much metric loss is incurred when each 𝑐 (𝑥) is substituted for the corresponding 𝑓 (𝑥) in the trained model. PWLCurve I. e Inoltre, il successo pratico della metodologia de- Per consentire l'uso sistematico della distillazione curva nei tubi di addestramento del modello, l'algoritmo di approssimazione deve funzionare con una configurazione minima.Iperparametri complessi costituiscono una barriera significativa all'ingresso. , il nostro algoritmo di approssimazione lineare a pezzi, in modo che in pratica gli utenti debbano solo considerare e (monotonia) dei parametri. mentre = 5 segmenti e =False è sufficiente per ottenere una precisione elevata (come dimostrato dai nostri esperimenti), è auspicabile indagare se il modello possa essere ulteriormente semplificato con meno segmenti o con restrizioni di monotonia. . meno di 1 secondo per funzione) che consente l'analisi interattiva tramite notebook Jupyter [ ] o altri strumenti.Queste considerazioni pratiche hanno informato varie decisioni nella progettazione di In particolare, preferiamo un algoritmo che produce rapidamente e in modo affidabile risultati di alta precisione con una configurazione minima a quello che sacrifica una di queste considerazioni pratiche per guadagni marginali di precisione. pwlfit num_segments mono num_segments mono e.g 15 pwlfit In questa sezione descriveremo le caratteristiche e le caratteristiche di Invitiamo i lettori interessati a consultare il codice sorgente di [ di ] per ulteriori dettagli. pwlfit pwlfit 22 5.1 L’algoritmo Dato un elenco di punti (x, y, peso) e un numero desiderato di segmenti k, cerchiamo un per minimizzare l'errore quadrato medio, MSE. con segmenti k è caratterizzato dai suoi punti di controllo k + 1 - un insieme di nodi x e i loro nodi y corrispondenti. Dato solo i nodi x, possiamo risolvere un'espressione lineare minima quadrata per i nodi y ottimali e l'errore risultante. Poiché non conosciamo i nodi x corretti, cerchiamo lo spazio dei possibili nodi x e risolviamo un'espressione minima quadrata a ogni passo per calcolare l'errore.2 PWLCurve PWLCurve Per quanto riguarda le prestazioni, scambiamo casualmente campioni di grandi set di dati a circa un milione di punti prima di montare. Abbiamo scalato campioni per ridurre il costo della classificazione, che domina il tempo di esecuzione per i dati di grandi dimensioni. Questo scalare imposta una perdita di qualità trascurabile. Per ridurre ulteriormente il tempo di esecuzione, discretizziamo lo spazio di ricerca per i nodi x. Scegliamo i valori x dei dati, separati ugualmente per peso cumulativo, e la ricerca delle combinazioni di nodi x da quel set di candidati campionati. Utilizzando i campioni 100 predefiniti, i nostri candidati sono i valori x a (0%, 1.01%, . . . , 98.9%, 100%) del peso cumulativo. 5.1.1 Iniziale distacco di campioni. num_samples Per i dati con molti valori x ripetuti, alcuni dei nostri candidati saranno duplicati. Ad esempio, il 55% dei valori nella funzione longitude_of_stay nel set di dati COMPAS sono 0 o 1. In questi casi, ripetutiamo il campione a tassi più alti (come 0%, 0.505%, 1.01%, ecc.) fino a quando non raccogliamo un numero appropriato di candidati distinti, non superando mai il numero specificato. parameter. 5.1.2 Il nodo di discrezione. num_samples Per ridurre al minimo il costo di ciascun passo lineare minimo quadrati, condensare i dati utilizzando una nuova tecnica scrittura in Appendice Given per i candidati, possiamo condensare i dati completi in due punti sintetici per coppia di candidati adiacenti, per un totale di 2 * ( Per qualsiasi funzione che è lineare tra ciascuna coppia adiacente di nodi x candidati, che è garantita dalla nostra scelta di candidato discreto 5.1 La condensazione di B. num_samples num_samples 𝑥-knots, these condensed points perfectly recreate the loss of that function over the full data set. We run our linear least squares solver on the condensed points instead of the full data set, which reduces our cost per solve from O(num_points) to O( ). This is purely a performance optimization, with no quality implications. num_samples After discretization, the solution space consists of num_samples num_segments+1 𝑥-knot combinations, which is still too large for an exhaustive search. To make the search tractable we use a greedy search heuristic that optimizes one 𝑥-knot at a time. Specifically, at each step of the process we evaluate the error associated with each candidate 𝑥-knot, and keep the candidate that yields the least error. With this approach, we optimize in two stages. We begin with a single 𝑥-knot as our solution, and greedily add the best remaining candidate 𝑥-knot until our solution consists of (num_segments + 1) 𝑥-knots. Then we cycle through our solution, removing one 𝑥- knot at a time and replacing that 𝑥-knot with the best remaining candidate 𝑥-knot, which could be the same 𝑥-knot that we just removed. We continue this cycle of iterative improvements until our solution converges, or until we’ve exceeded the maximum number of iterations (defaulting to 10 iterations). 5.1.4 Global Optimization via Greedy Search . pwlfit can impose a minimum and/or maximum slope on the solution via bounded least squares. Instead of solving the least squares expression directly for the 𝑦-knots, we solve it for the deltas between adjacent 𝑦-knots. 5.1.5 Slope Constraints & Monotonicity. Then we impose a min/max slope by bounding the deltas. Slope restrictions can be used to limit the spikiness of curves, but we primarily use them to impose monotonicity. For example, specifying =0 restricts to monotonically non-decreasing functions while =0 restricts to monotonically non-increasing functions. Specifying a greater than 0 or a less than 0 restricts to strictly increasing or decreasing functions, respectively. can deduce the direction of monotonicity by applying iso-tonic regression [ Si adatta una regressione isotonica in aumento e in diminuzione, e si usa la direzione che riduce al minimo l'errore quadrato medio.L'utente può sopravvalutare questo comportamento specificando la direzione esplicitamente o disattivando completamente la monotonia. min_slope max_slope min_slope max_slope pwlfit 26 Può anche interpolare in una trasformazione di ingegneria delle caratteristiche. trasforma i valori x prima di imparare la curva. will choose a candidate 𝑥-transformation, , among , , or based on the range of the 𝑥-values and then proceed with that transformation if it increases the Pearson correlation between and 𝑦 by a noticeable amount over the identity transformation. Alternatively, the user can specify any strictly increasing 1D transform or specify the identity transform to disable transformation. 5.1.6 Input Transformations. pwlfit pwlfit pwlfit fx log log1p symlog1p fx 6 esperimenti 6.1 Distillation Accuracy Table and Figure show the results obtained from experiments on the different datasets. A complete set of results can be found in Table in appendice The results of applying our distillation technique with our piecewise-linear approximation algorithm are presented as . We present results from using various numbers of segments with and without a monotonicity restriction and otherwise default parameters. In all cases we truncated the control points to four significant digits. We also present several additional reference points to provide context. 1 4a 2 di A. pwlfit • Impareremo direttamente le curve con l'Adadelta[ ] optimizer. We initialize the 𝑦 values of the control points as zeros. For the 𝑥 values of the control points we use the quantiles for numerical features ( 0%, 50%, 100% per una curva di tre punti, due segmenti) o tutti i valori unici per caratteristiche categoriche. Applicamo poi Adadelta per ottimizzare i valori y. È stato anche provato ottimizzare simultaneamente i valori x e y, ma i risultati sono sempre stati peggiori dell'ottimizzazione SGD: 31 e.g 𝑦 values alone. • Neural Additive Models (NAMs) [ ] is another method for learning interpretable models proposed by Agarwal Presentiamo i loro risultati per riferimento, ove applicabile. NAM: 2 e al • We train a bagged, boosted decision forest allowing feature interactions to demonstrate the accuracy of a non-interpretable, high-complexity "black box" model. Interacting forest: • : We train a bagged boosted decision forest GAM by restricting each tree to use only one feature. This model is also the source model for our distillation technique. GAM forest • We apply our distillation technique using an alternative piecewise-linear approximation algorithm pwlf: pwlf [13]. On each dataset we used five fold cross validation and present the metric mean and sample standard deviation across folds. We used three different metrics to evaluate accuracy: AUC-ROC, RMSE, and NDCG@5 for the three different tasks of classification, regression, and ranking. Further details on our experimentation setup can be found in Appendix and further details on the datasets, labels, and metrics can be found in Preliminaries A 2.1. di Our results show that applying our distillation technique with 4-5 segments with produce modelli che sono accurati sia come i modelli di origine GAM forest che NAM per tutti i set di dati tranne CWS dove rimane un piccolo divario. Nel caso del dataset COMPAS questi modelli sono accurati come modelli di complessità completa. produces competitive results, albeit less accurate on the MSLR-WEB30K dataset. By contrast, the results show that learning curves directly via SGD is less general. On the FICO and CWS datasets more segments are required to achieve accuracy comparable to the GAM forest models. On the MSLR-WEB30K dataset the accuracy is inferior even with many more segments. pwlfit 6.2 pwlf The consistent accuracy of applying our distillation approach with on these four datasets and three separate tasks (classification, regression, learning to rank) demonstrates that the process is not sensitive to either the specific data or the top level objective being used. pwlfit 6.2 Distillation Failures nella sezione we explained how distillation yielding a model with inferior accuracy warrants further investigation because the purported "failure" can often be attributed to essential yet non-interpretable characteristics of the teacher model not transferring to the student model. The accuracy gap observed on the CWS dataset is an example of this phenomenon. Figure shows the worst two fits from the CWS dataset. The plots have been redacted to maintain the privacy of the dataset. For each plot it is clear that the original teacher submodel had some non-interpretable behavior which was lost during distillation. This is most evident for feature 𝑥1, the worst offender, where the output is highly erratic. If the original teacher submodel is not distilled for these two features then the accuracy gap between the original teacher model and 5 segment non-monotonic distillation drops from 0.0059 to 0.003 ( . ~50% of the gap is recovered). 3.1 5 i.e Per identificare i due fallimenti di cui sopra abbiamo applicato il seguente metodo. • Begin with the original teacher model. For each submodel compute the metric delta against the teacher model from distilling only that submodel and no others. • Perform the above on each cross validation fold using the validation set and average the metric deltas across folds. • Sort the features by their associated metric delta to determine the worst distillations. 6.3 Efficiency & Robustness Gli esperimenti della sezione precedente hanno dimostrato che più accuratamente distilla il modello sorgente su dataset che . We also found on the MSLR-WEB30K dataset that è più efficiente e robusto di . Figure shows per fit metrics from the first fold of the MSLR-WEB30K dataset as the number of segments varies without monotonicity. The top plot shows the time in seconds, as measured on a ThinkStation P520, to fit each of the 136 submodels of the source GAM forest. We find that is faster in the average case as the number of segments increases, and has a narrower distribution. The bottom plot shows the RMSE of each fit against the 136 submodels of the source GAM forest. We again find that performs favorably in the average case with a narrower runtime distribution. pwlfit pwlf pwlfit pwlf 4b pwlfit pwlfit It’s worth noting that by default does not perform any down-sampling. For the MSLR-WEB30K dataset running without any downsampling was prohibitively expensive. For all of our experi-ments we ran with a pre-processing downsample to a random 1000 examples. We found this to be a fair point for balancing speed and quality when comparing to . It is of course possible with both algorithms to modify the number of samples used to strike a different trade-off between run time and accuracy. pwlf pwlf pwlf pwlfit 4.4 Monotonia As discussed in Section can fit monotonic curves with automatic direction detection. Figure compares curve models fit with and without monotonicity constraints (automatically inferring the direction) across datasets. For the COMPAS dataset monotonic and non monotonic models are comparably accurate, while for FICO, MSLR-WEB30K, and CWS, non-monotonic models are more accurate. 5, pwlfit 4a Monotonicity with respect to appropriate features is desirable for interpretable models. In these cases a monotonic model may be preferable to a non-monotonic one, even if it is less accurate. For example, Figure compares monotonic and non-monotonic 5-segment curve models on the FICO dataset for the MSinceMostRecentDelq and PercentTradesWBalance features. Given the semantic meaning of these features, it is desirable from a transparency and incentives standpoint for the model output to be monotonic with respect to each of them. 6 7 CONCLUSION We have introduced a novel method for distilling interpretable models into human-readable code using piecewise-linear curves and demonstrated its efficacy on four datasets. We have shown that curve models match or outperform the accuracy achieved by other additive models. On smaller datasets, curve models match the accuracy of more complex models, like interacting decision forests. Our localized distillation methodology is applicable to any model containing univariate numerical functions and is straightforward to implement using the publicly-available library. pwlfit [22] Abbiamo spiegato come la distillazione del modello curvo rafforza l'interpretabilità e affronta una varietà di sfide ingegneristiche del mondo reale. I modelli curvi sono 1) trasparenti, 2) ben regolamentati, 3) facili da analizzare per la presenza di pregiudizi o altri problemi di equità, e 4) possono essere direttamente modificati o migliorati al di fuori del contesto dell'apprendimento automatico per risolvere i problemi di equità sopra menzionati. Distillare i modelli in codice leggibile dall'uomo consente di affrontare nuovi problemi di apprendimento automatico utilizzando metodi di ingegneria software ben stabiliti. I modelli curvi possono essere migliorati da più contribuenti in parallelo, rivisti e fatti seguire sistematicamente le migliori pratiche. Conoscenze We thank Vytenis Sakenas, Jaime Fernandez del Rio, Benoit Zhong, and Petr Mitrichev for their support and providing the algorithms and optimization infrastructure used in our experiments. We also thank Paul Heymann, Diego Federici, Mike Bendersky, Paul Haahr, and Petr Mitrichev for their helpful feedback and detailed reviews. Lastly, we thank Xinyu Qian, Janelle Lee, Po Hu, and Chary Chen for preparing the CWS data set for our experiments. REFERENCES [1] 2018. FICO Explainable Machine Learning Challenge. https://community.fico. com/s/explainable-machine-learning-challenge. [2] Rishabh Agarwal, Nicholas Frosst, Xuezhou Zhang, Rich Caruana, and Geoffrey E. Hinton. 2020. Neural Additive Models: Interpretable Machine Learning with Neural Nets. arXiv :cs.LG/2004.13912 [3] Elaine Angelino, Nicholas Larus-Stone, Daniel Alabi, Margo Seltzer, and Cynthia Rudin. 2017. Learning Certifiably Optimal Rule Lists. In . Proceedings of the 23rd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining (KDD ’17) [4] Julia Angwin, Jeff Larson, Surya Mattu, and Lauren Kirchner. 2016. Machine bias: There’s software used across the country to predict future criminals. 23 (2016). And it’s biased against blacks. ProPublica [5] Cristian Buciluundefined, Rich Caruana, and Alexandru Niculescu-Mizil. 2006. Model Compression. In Il 535-541 Proceedings of the 12th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining (KDD ’06) [6] Rich Caruana, Yin Lou, Johannes Gehrke, Paul Koch, Marc Sturm, e Noemie Elhadad. 2015. Modelli intelligibili per HealthCare: Prevedere il rischio di polmonite e ricollocazione ospedaliera di 30 giorni. . 1721–1730. Proceedings of the 21th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining (KDD ’15) [7] Chaofan Chen, Kangcheng Lin, Cynthia Rudin, Yaron Shaposhnik, Sijia Wang, and Tong Wang. 2018. An Interpretable Model with Globally Consistent Explanations for Credit Risk. arXiv :cr.LG/1811.12615 [8] Alexandra Chouldechova. 2017. Previsione equa con impatto dissimulato: uno studio dei pregiudizi negli strumenti di previsione del recidivismo. 5, 2 (giugno 2017), 153–163. Big Data https://doi.org/10.1089/big.2016.0047 [9] ![Text Box: CDF](file:///C:/Users/user/AppData/Local/Temp/msohtmlclip1/01/clip_image063.gif)Julia Dressel e Hany Farid. 2018. L'accuratezza, l'equità e i limiti di prevedere il recidivismo. 4, 1 (2018). Science Advances https://doi.org/10.1126/sciadv.aao5580 [10] Mengnan Du, Ninghao Liu, and Xia Hu. 2019. Techniques for interpretable machine learning. 63, 1 (Dec 2019), 68–77. Commun. ACM https://doi.org/10. 1145/3359786 [11] Trevor Hastie and Robert Tibshirani. 1986. Generalized Additive Models. 1, 3 (08 1986), 297–310. Statist. Sci. [12] Geoffrey Hinton, Oriol Vinyals, e Jeff Dean. 2015. Distillare la conoscenza in una rete neurale. arXiv :stat.ML/1503.02531 [13] Charles F. Jekel and Gerhard Venter. 2019. . pwlf: A Python Library for Fitting 1D Continuous Piecewise Linear Functions https://github.com/cjekel/piecewise_ linear_fit_py [14] Jon Kleinberg. 2018. Trade-Off intrinseci nella correttezza algoritmica. in . Abstract della 2018 ACM International Conference on Measurement and Modeling of Computer Systems (SIGMETRICS ’18) [15] Thomas Kluyver, Benjamin Ragan-Kelley, Fernando Pérez, Brian Granger, Matthias Bussonnier, Jonathan Frederic, Kyle Kelley, Jessica Hamrick, Jason Grout, Sylvain Corlay, Paul Ivanov, Damián Avila, Safia Abdalla, and Carol Willing. 2016. Jupyter Notebooks – a publishing format for reproducible computational workflows. In , F. Loizides e B. Schmidt (Ed.). IOS Press, 87 – 90. Positioning and Power in Academic Publishing: Players, Agents and Agendas [16] ![Text Box: CDF](file:///C:/Users/user/AppData/Local/Temp/msohtmlclip1/01/clip_image072.gif)A. K. Kolmogorov. 1957. On the Representation of Continuous Functions of Several Variables by Superposition of Continuous Functions of One Variable and Addition. 114 (1957), 369 – 373 Documenti dell'Accademia delle Scienze dell'URSS [17] Yin Lou, Rich Caruana, and Johannes Gehrke. 2012. Intelligible Models for Classification and Regression. In . 150–158. Procedure della 18a ACM SIGKDD International Conference on Knowledge Discovery and Data Mining (KDD ’12) [18] Yin Lou, Rich Caruana, Johannes Gehrke e Giles Hooker. 2013. Modelli intelligibili accurati con interazioni a coppia. . 623–631. Proceedings of the 19th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining (KDD ’13) [19] Tao Qin and Tie-Yan Liu. 2013. Introducing LETOR 4.0 Datasets. abs/1306.2597 (2013). CoRR http://arxiv.org/abs/1306.2597 [20] Tao Qin, Tie-Yan Liu, and Hang Li. 2010. A general approximation framework for direct optimization of information retrieval measures. 13, 4 (2010), 375 – 397. Informazioni Retrieval [21] Cynthia Rudin. 2018. smettere di spiegare i modelli di apprendimento della macchina della scatola nera per le decisioni di alta quotazione e usare invece modelli interpretabili. arXiv :stat.ML/1811.10154 [22] Ethan Sterling e Walker Ravina. di . pwlfit: una libreria di fissaggio della curva lineare a pezzi https://github.com/google/pwlfit [23] Sarah Tan, Rich Caruana, Giles Hooker, and Yin Lou. 2018. Distill-and-Compare: Auditing Black-Box Models Using Transparent Model Distillation. In . 303–310. Procedure della conferenza 2018 AAAI/ACM sull’IA, l’etica e la società (AIES ’18) [24] Berk Ustun and Cynthia Rudin. 2014. Methods and Models for Interpretable Linear Classification. arXiv :stat.ME/1405.4047 [25] Wikipedia. 2020. disuguaglianza di Bhatia-Davis. [In linea; accessibile dal 3 settembre 2020]. http://en.wikipedia.org/w/index.php? title=Bhatia%E2%80%93Davis%20inequality&oldid=875899600. [26] Wikipedia. 2020 Regressione isotonica. [Online; accessed 30-November-2020]. http://en.wikipedia.org/w/index.php?title= Isotonic%20regression&oldid=989717822. [27] Wikipedia. 2020. Kolmogorov–Arnold representation theorem. [In linea; accessibile dal 10 agosto 2020]. http://en.wikipedia.org/w/index.php?title=Kolmogorov%E2%80%93Arnold% 20representazione%20teorema&oladh=964097101. [28] Wikipedia. 2020. lunghezza minima della descrizione. [Online; ac-cessed 12-August-2020]. http://en.wikipedia.org/w/index. php?title=Minimum%20description%20length&oldid=965620302. [29] Wikipedia. 2020. Nothing-up-my-sleeve number. [In linea; accessibile dal 12 agosto 2020]. http://en.wikipedia.org/w/ index.php?title=Nothing-up-my-sleeve%20number&oldid=972510276. [30] Wikipedia. 2020. Segmented regression. [Online; accessed 10-August-2020]. http://en.wikipedia.org/w/index.php? title=Segmented%20regression&oldid=910888930. [31] Matthew D. Zeiler. 2012. ADADELTA: An Adaptive Learning Rate Method. abs/1212.5701 (2012). arXiv Corr di 12125701 http://arxiv.org/abs/1212.5701 [32] Honglei Zhuang, Xuanhui Wang, Michael Bendersky, Alexander Grushetsky, Yonghui Wu, Petr Mitrichev, Ethan Sterling, Nathan Bell, Walker Ravina e Hai Qian. 2021. Classificazione interpretabile con modelli additivi generalizzati. . to appear. Proceedings of the 14th ACM International Conference on Web Search and Data Mining (WSDM ’21) Dettagli sperimentali A.1 Validazione incrociata We performed 5-fold cross validation on all datasets. • : The datasets were split into 5 equal parts. Each part was used once as a test set (20%) with the remaining parts as the training set (80%). We used the same random folds as in the NAM paper [ Nessun set di convalida è stato utilizzato a causa della piccola dimensione dei dati. Invece, abbiamo utilizzato la valutazione fuori sacco ovunque un set di convalida sarebbe stato utilizzato (vedi sotto). COMPAS & FICO 2 • : We used the predefined folds and partitions from the original dataset. For each fold it allocates 60% for training 20% for validation and 20% for testing. MSLR-WEB30K • : We used a dataset of 60,000 queries and 2,690,439 items with an average of ~44 items per query. The dataset was split into 5 equal parts. Each part was used once as a test set. Of the remaining parts 80% was used as training and 20% as validation. Overall this resulted in 64% for training, 16% for validation and 20% for test for each fold. CWS A.2 Ensemble Learning For both SGD and tree models, we trained ensembles with 56 bags using a bag fraction of 7 to produce the random subsets. For MSLR-WEB30K and CWS, queries were randomly divided into bags. For the other datasets, individual examples were randomly divided into bags. When applying our distillation technique, we distilled the ensembles into a single per feature. When learning the curves directly via SGD, we averaged the learned 𝑦-coordinate values across bags to obtain the final model. PWLCurve A.3 Loss Functions Abbiamo addestrato modelli SGD e alberi utilizzando log-loss per il dataset COMPAS, errore medio quadrato (MSE) per il dataset FICO e perdita di classificazione (ApproxNDCG [ ]) for the MSLR-WEB30K and CWS datasets. 20 A.4 Parametri ipertestuali For the COMPAS, and FICO datasets hyper-parameters were tuned using out of bag evaluation on the training set of the first fold. For MSLR-WEB30K and CWS, we used the validation sets of the first fold. • We tuned the batch size in {128, 256, 512, 1024, 4096}. We used the Adadelta [ ] optimizer and tuned a sufficient maximum number of steps for convergence. No other pa-rameters were tuned. SGD: 31 • We trained depth 5 trees using an inter-nal boosted forest algorithm. We tuned a sufficient maximum number of steps for convergence. No other parameters were tuned. Interacting forest: • We trained depth 3 trees restricted to using a single feature with an internal boosted forest algorithm. We tuned a sufficient maximum number of steps for convergence. No other parameters were tuned. GAM forest: In all cases, we trained models for the tuned maximum number of steps and then truncated models after training. Truncation used a confidence-based truncation algorithm which attempts to select the earliest step for which no later step provides a confident win. This algorithm was run on the validation set if present or otherwise utilized out of bag evaluation. 5 Codice Il repository GitHub per [ di ] contains several Jupyter note-books applying our distillation technique and performing the analyses shown in this paper. Please reference the v0.2.0 release to get the accompanying data files and appropriate version of the Jupyter notebooks. pwlfit 22 B Condensazione lineare Linear condensing is a data optimization designed to reduce the runtime complexity of our piecewise-linear curve fitting. B.1 Motivazione / Panoramica Per ogni combinazione considerata, risolve un'espressione lineare di minimo quadrato per i nodi y ideali, calcola l'errore quadrato risultante e preferisce la combinazione che produce l'errore più basso. pwlfit Each solve is linear in the size of input, which is slow for large data. We could downsample to save compute at the cost of accuracy. Instead, we introduce a technique to save compute at no cost in accuracy. We condense the data into O(#𝑐𝑎𝑛𝑑𝑖𝑑𝑎𝑡𝑒𝑠) synthetic points. These synthetic points perfectly recreate the true squared error over the full data for every Quindi ottimizziamo i punti sintetici invece dei punti reali. PWLCurve Questo è possibile perché conosciamo i nodi x candidati in anticipo. Come mostriamo nel teorema, possiamo condensare arbitrariamente molti punti fino a due punti in modo che i fit lineari siano gli stessi su questi due punti come sul set completo. Nel corollario, applichiamo questo processo separatamente tra ciascuna coppia di nodi x candidati, producendo due punti tra ciascuna coppia. è la stessa su quei punti sintetici come è sul set di dati completo. (Fino a una costante che ignoriamo in modo sicuro perché è la stessa per ogni PWLCurve PWLCurve e) il PWLCurve B.2 Definizioni For convenience, we take standard definitions and specialize them for weighted 2D points. Un ‘punto’ si riferisce a un triplo della forma (x, y, peso) con valore reale 0. Definition B.1. > Lasciate che una ‘linea’ si riferisca a una funzione della forma f (x) =mx + b per m, b, x ∈ R. Definizione di B.2. Per qualsiasi funzione f : R → R e punto finito set P, definire l'errore quadrato SE( f , P) come la somma di ( f (x) −y)2 · peso per ogni punto in P. Se P è vuoto, consideriamo l'errore quadrato come 0. Definizione di B.3. Per qualsiasi set di punti finiti P, definisci la "linea migliore" migliore f itline (P) come la linea L che riduce al minimo SE(L, P). Nel caso degenerato in cui più linee riducono al minimo SE, lasciate che la linea migliore sia la soluzione con pendenza zero, e se più soluzioni hanno pendenza zero, lasciate che la linea migliore sia la soluzione con un'intercettazione zero y. Definizione di B.4. Se il set di punti è vuoto, ogni riga ha lo stesso errore quadrato, quindi la nostra definizione sceglie f (x) = 0 come la linea più adatta. Se il set di punti è non vuoto ma tutti i suoi punti hanno lo stesso x, allora qualsiasi riga con il valore corretto a x minimizzerà l'errore quadrato, quindi la nostra definizione sceglie la linea orizzontale. B.3 Theorem Il Teorema B.5. 𝑃 P ′ Given a set of points , we can construct a set di due o meno punti che Queste proprietà sono desiderabili perché (2) ci permette di calcolare l'errore quadrato di linee M su un set di dati di punti N in O(N + M) invece del ingenuo O(N M), e (1) ci permette di estendere questa proprietà da linee a una classe utile di curve lineari a pezzo nel corollario. Remark. Note that the points in 𝑃 ′ are constructed, rather than chosen from 𝑃. The construction of 𝑃 ′ is implemented in [ di ] as pwlfit 22 linear_condense.linear_condense. Proof. Let 𝑋, 𝑌 , and 𝑊 represent the 𝑥, 𝑦, and 𝑤𝑒𝑖𝑔ℎ𝑡 values of 𝑃, respectively. We dismiss the trivial case where 𝑃 is empty; in that case, an empty 𝑃 ′ satisfies the requirements. Likewise, we dismiss the case where 𝑚𝑖𝑛(𝑋 ) = 𝑚𝑎𝑥 (𝑋 ) since 𝑃 ′ = {𝐶𝑒𝑛𝑡𝑟𝑜𝑖𝑑 (𝑃)} fulfills our desired properties. With those cases resolved, we assume for the rest of this proof that 𝑚𝑖𝑛(𝑋 ) 𝑚𝑎𝑥 (𝑋). < Per cominciare, ricostruiamo il sistema di coordinate in modo che l'origine sia il centroid di P e y = 0 è la linea più adatta. (Questo semplifica la matematica.) B.3.1 Reframe the Coordinate System. Centroid (P) = (X · W /sum(W ), Y · W /sum(W )). Si traduce il quadro di coordinate da questo centroid in modo che, sotto le nuove coordinate, Centroid (P) = (0, 0). Dopo la traduzione, X · W = 0 e Y · W = 0. Inoltre, distogliamo il sistema di coordinate dalla pendenza della linea migliore: sostituiamo Y con Y − X · pendenza (best f itline (P)). Con il centroid all'origine, la pendenza della linea migliore è Covariance (X, Y, W )/V ariance (X,W ) = Under the new coordinate frame, 𝑆𝐸(𝑏𝑒𝑠𝑡 𝑓 𝑖𝑡𝑙𝑖𝑛𝑒 (𝑃), 𝑃) = 𝑆𝐸(𝑦 = 0, 𝑃) = 𝑌 2 ·W Determineremo P ′ sotto questo nuovo sistema di coordinate. Dopo di che, possiamo facilmente convertire P ′ indietro al sistema di coordinate originale invertire la svolta e la traduzione. Esprimiamo SE(linea, P) come SE(best f itline (P), P) più termini restanti. Da ciò, deriveremo un P ′ tale che SE(linea, P ′ ) equivale a quei termini restanti. B.3.2 Errore quadrato di una linea arbitraria. Per una linea arbitraria y = mx + b, SE(y = mx + b, P) = (mX + b − Y) 2 · W = (m2X 2 + 2bmX − 2mXY + b 2 − 2bY + Y 2 ) · W. Nel nostro quadro di coordinate, X ·W = 0, Y ·W = 0, e XY ·W = 0. Così SE(y = mx + b, P) = (m2X 2 + b 2 + Y 2 ) ·W. Y 2 ·W = SE(best f itline (P), P). SE(y = mx + b, P) = m 2X 2 ·W + b 2 ·W + SE(best f itline (P), P). m 2X 2 ·W + b 2 ·W = SE(y = mx + b, P) − SE(best f itline (P), P). B.3.3 Errore quadrato su P ′. B.3.3 Squared error over 𝑃 ′ . 𝑆𝐸(𝑦 = 𝑚𝑥 + 𝑏, 𝑃 ′ ) = 𝑆𝐸(𝑦 = 𝑚𝑥 + 𝑏, 𝑃) − 𝑆𝐸(𝑏𝑒𝑠𝑡 𝑓 𝑖𝑡𝑙𝑖𝑛𝑒 (𝑃), 𝑃) for all lines𝑦 = 𝑚𝑥+𝑏 ⇐⇒ (𝑚𝑋 ′+𝑏−𝑌 ′ ) 2 ·𝑊 ′ = 𝑚2𝑋 2 ·𝑊 +𝑏 2 ·𝑊 for all lines 𝑦 = 𝑚𝑥 + 𝑏. The above equation can be viewed as a quadratic polynomial in the two variables 𝑚 and 𝑏. To hold for all values of 𝑚 and 𝑏, the coefficients of each 𝑚𝑐 𝑏 𝑑 must be equal on both sides of the equation. Then the equation holds iff: 1. X ′2 ·W ′ = X 2 ·W , e 2. X ′ ·W ′ = 0, e 3. somma(W ) = somma(W ′ ), e 4. Y ′ ·W ′ = 0, e 5. Y ′2 ·W ′ = 0, e 6. X ′Y ′ ·W ′ = 0. (5) ⇐⇒ Y ′ = 0, che garantisce anche (4) e (6). Utilizzeremo 1-3 per derivare un X ′ e W ′ soddisfacente. Abbiamo determinato che Y ′ = 0. B.3.4 Derivare X ′ e W ′. Let 𝑋 ′ := (𝑥1, 𝑥2) and 𝑊 ′ := (𝑤1,𝑤2). Without loss of generality, let 𝑥1 <= 𝑥2. Then, to satisfy our squared error expression, it’s necessary and sufficient that: Poiché abbiamo tre equazioni in quattro sconosciute, non possiamo risolvere direttamente per x1, x2,w1,w2. Per produrre una quarta equazione, scegliamo il vincolo che x1/x2 = min(X)/max (X). Questa scelta semplificerà la matematica, e garantirà che min(X) <= x1 <= x2 <= max (X). Con questa quarta equazione, risolviamo le equazioni simultanee per produrre: Nota che, poiché il centroid è zero, min(X) < 0 < max (X), quindi queste espressioni sono tutte definite. (I denominatori non sono mai 0 e i valori sotto le radici quadrate non sono mai negativi.) P ′ = (x1, 0,w1), (x2, 0,w2) soddisfa i nostri requisiti. <= x1 <= x2 <= max (X). Volevamo P ′ per soddisfare l'espressione di errore quadrato, che fa, e anche avere i suoi valori x limitati dai valori x di P, che dimostriamo ora. Lasciamo μ := E(X,W ), il valore atteso di X ponderato da W , che è equivalente al valore x di Centroid (P). Con la diseguaglianza Bhatia-Davis [25], stddev(X,W ) 2 <= (μ −min(X)) (max (X) − μ). (Questa diseguaglianza è equivalente all'osservazione che la deviazione standard di una distribuzione è massimizzata quando tutti i xs sono agli estremi - cioè uguale a min(X) o max(X)). B.3.5 Verificare che min(X) Poiché μ è zero per P, stddev(X,W) 2 <= −min(X)max (X). B.4 Corollary Corollario B.6.Dato un insieme di punti P e un insieme di x-noduli K, possiamo costruire un insieme di punti P ′ con IPP ′ IP <= 2( IPK - 1) in modo che, per qualsiasi Curva C di PWL i cui x-noduli sono elementi di K, SE(C, P) = SE(C, P ′ ) + c, dove c è una costante determinata esclusivamente da P e K che è la stessa per ogni C. Si noti che i punti in P ′ sono costruiti, piuttosto che selezionati da P. La costruzione di P ′ è implementata in pwlfit [22] come . linear_condense.condense_around_knots Le curve lineari sono costanti per i valori di input che superano la gamma dei loro nodi x, quindi C è costante per x = max (K) = K[k − 1]. B.4.1 Preprocess 𝑃 by clamping. Perciò possiamo agganciare i valori x di P a [K[0], K[k − 1] senza modificare SE(C, P). Per costruire P ′ da P, noi prima partizione P per K in k + 1 pezzi disgiunti etichettati P0, P1, ..., Pk . B.4.2 Partizione P per K. Poiché abbiamo agganciato P, P0 e Pk sono vuoti. pertanto Ðk−1 i=1 Pi = P. A PWLCurve is linear between consecutive control points, so 𝐶 is linear over each 𝑃𝑖 . B.4.3 Convertire ogni partizione in due punti. dal teorema, per ogni Pi, possiamo produrre un insieme di due punti P ′ i con minx (Pi) <= minx (P ′ i ) <= maxx (P ′ i ) <= maxx (Pi), in modo che per qualsiasi linea L, Questo documento è disponibile in archivio sotto la licenza CC by 4.0 Deed (Attribution 4.0 International). Questo documento è disponibile in archivio sotto la licenza CC by 4.0 Deed (Attribution 4.0 International).