
 
 
 
 
 
 
 Gli autori : (1) Avi Schwarzschild, Università del Maryland, College Park, Maryland, USA e Lavoro completato mentre lavorava presso Arthur (avi1umd.edu); (2) Max Cembalest, Arthur, New York, New York, Stati Uniti d'America; (3) Karthik Rao, Arthur, New York, New York, Stati Uniti d'America; (4) Keegan Hines, Arthur, New York City, New York, Stati Uniti d'America; (5) John Dickerson†, Arthur, New York City, New York, USA (john@arthur.ai). Authors: (1) Avi Schwarzschild, Università del Maryland, College Park, Maryland, USA e Lavoro completato mentre lavorava presso Arthur (avi1umd.edu); (2) Max Cembalest, Arthur, New York, New York, Stati Uniti d'America; (3) Karthik Rao, Arthur, New York, New York, Stati Uniti d'America; (4) Keegan Hines, Arthur, New York City, New York, Stati Uniti d'America; (5) John Dickerson†, Arthur, New York City, New York, USA (john@arthur.ai). tavolo di sinistra Abstract e 1 Introduzione 1.1 Spiegazione post hoc 1.2 Il problema del disaccordo 1.3 Incoraggiare il consenso di spiegazione 
 
 
 
 
 
 
 Related Work 
 
 Pear: Post HOC Explainer Agreement Regularizer 
 
 
 
 
 
 
 
 The Efficacy of Consensus Training 4.1 Agreement Metrics 4.2 Improving Consensus Metrics 4.3 Consistency At What Cost? 4.4 Are the Explanations Still Valuable? 4.5 Consensus and Linearity 4.6 Two Loss Terms 
 
 
 
 Discussion 5.1 Future Work 5.2 Conclusion, Acknowledgements, and References Appendice astratto Poiché le reti neurali prendono sempre più decisioni critiche nelle impostazioni di alta scommessa, il monitoraggio e la spiegazione del loro comportamento in modo comprensibile e affidabile è una necessità. Uno dei tipi di spiegatore comunemente utilizzati è l'attribuzione di caratteristiche post hoc, una famiglia di metodi per dare a ciascuna caratteristica in un input un punteggio corrispondente alla sua influenza sulla produzione di un modello. Una delle principali limitazioni di questa famiglia di spiegatori nella pratica è che possono discordare su quali caratteristiche sono più importanti di altre. Il nostro contributo in questo documento è un metodo di formazione di modelli con questo problema di disaccordo in mente. Lo facciamo introducendo un termine di perdita di Regularizzazione del contratto di spiegazione post hoc (PEAR) lungo il termine standard corrispondente all'accuratezza 1 Introduzione Poiché l'apprendimento automatico diventa inseparabile da importanti settori sociali come la sanità e la finanza, la maggiore trasparenza di come i modelli complessi arrivano alle loro decisioni diventa fondamentale. In questo lavoro, esaminiamo un compito comune a sostegno della trasparenza dei modelli che sorge con la distribuzione di modelli a scatola nera complessi nelle impostazioni di produzione: spiegando quali caratteristiche nell'input sono le più influenti nella produzione del modello. Questa pratica consente agli scienziati dei dati e ai professionisti dell'apprendimento automatico di classificare le caratteristiche per importanza - le caratteristiche con un alto impatto sulla produzione del modello sono considerate più importanti e quelle con poco impatto sulla produzione del modello sono considerate meno importanti. 1.1 Spiegazione post hoc I metodi di spiegazione del modello considerati in questo articolo sono i punteggi post hoc di attribuzione delle caratteristiche locali.Il campo dell'intelligenza artificiale spiegabile (XAI) sta rapidamente producendo diversi metodi di questo ciascuno di questi metodi ha una formula leggermente diversa e interpretazione della sua uscita cruda, ma in generale eseguono tutti la stessa attività di attribuire il comportamento di un modello alle sue caratteristiche di input. Quando sono incaricati di spiegare la uscita di un modello con un input corrispondente (e possibile accesso ai pesi del modello), questi metodi rispondono alla domanda, "Quanto è influente ogni singola caratteristica dell'ingresso nel calcolo della uscita del modello?" Gli scienziati dei dati stanno utilizzando spiegatori post hoc a tassi crescenti - metodi popolari come LIME e SHAP hanno avuto oltre 350 mila e 6 milioni di download dei loro pacchetti Python negli ultimi 30 giorni, rispettivamente [23]. 1.2 Il problema del disaccordo L'esplosione di diversi metodi di spiegazione porta Krishna et al. [15] a osservare che quando le reti neurali sono addestrate naturalmente, vale a dire per l'accuratezza sola, spesso gli esplicatori post hoc non sono d'accordo su quanto le caratteristiche diverse hanno influenzato le uscite di un modello. C'è una discussione importante intorno agli esplicatori locali e il loro vero valore nel raggiungere l'obiettivo comune di trasparenza e interpretabilità del modello [vedi, ad esempio, 7, 18, 29]; infatti, ci sono discussioni in corso sull'efficacia dei metodi di spiegazione attuali in settori specifici [per la sanità, vedi, ad esempio, 8]. In questo articolo, non facciamo giudizi normativi in merito a questo dibattito, ma piuttosto consideriamo le “spiegazioni” come segnali da usare assieme ad altri approcci di debug, convalida e verifica nel pipeline delle operazioni di apprendimento automatico (MLOps). 1.3 Incoraggiare il consenso di spiegazione Il consenso tra due esplicatori non richiede che gli esplicatori emettano gli stessi punteggi esatti per ciascuna caratteristica. Piuttosto, il consenso tra gli esplicatori significa che qualsiasi disaccordo essi mostrano può essere conciliato. Gli scienziati dei dati e i praticanti dell'apprendimento automatico dicono in un sondaggio che le spiegazioni sono in accordo di base se soddisfano le metriche di accordo che si allineano con l'intuizione umana, che fornisce un modo quantitativo per valutare la misura in cui il consenso viene raggiunto [15]. Quando si affronta il disaccordo tra gli esplicatori, una scelta deve essere fatta su cosa fare successivamente - se un tale momento arbitrario di incrocio è evitabile attraverso la formazione di modelli specializzati, crediamo che Proponiamo, come nostro principale contributo, una routine di formazione per aiutare ad alleviare la sfida presentata dal disaccordo di spiegazione post hoc. Raggiungere un migliore consenso tra le spiegazioni non fornisce più interpretabilità a un modello intrinsecamente. Ma, può dare più fiducia alle spiegazioni se diversi approcci all'attribuzione concordano più spesso su quali caratteristiche sono importanti. Questo dà al consenso il vantaggio pratico di agire come un controllo di sanità - se il consenso viene osservato, la scelta di quale spiegatore un praticante usa è meno conseguente rispetto all'impatto degli stakeholder a valle, rendendo la loro interpretazione meno soggettiva. 2 Lavori correlati Alcuni spiegatori post hoc, come LIME [24] e SHAP [21], sono modelli proxy addestrati su un modello di base di machine learning con l'unica intenzione di "spiegare" quel modello di base. Questi spiegatori si basano solo sugli input e le uscite del modello per identificare le caratteristiche salienti. Altri spiegatori, come Vanilla Gradients (Grad) [32], Gradient Times Input (Grad*Input) [30], Integrated Gradients (IntGrad) [37] e SmoothGrad [34], non usano un modello proxy ma invece calcolano i gradienti di un modello rispetto alle caratteristiche di input per identificare caratteristiche importanti.[1] Ognuno di questi spiegatori ha i suoi trucchi e ci sono ragioni per usarli, o non usarli, tutti – basati sul tipo di input, Abbiamo costruito direttamente sul lavoro precedente che definisce e esplora il problema di disaccordo [15]. Disaccordo qui si riferisce alla differenza nei punteggi di importanza delle caratteristiche tra due metodi di attribuzione delle caratteristiche, ma può essere quantificato in diversi modi diversi come descritto dalle metriche Krishna et al. [15] definire e usare. Il metodo che proponiamo in questo documento si riferisce a lavori precedenti che addestrano i modelli con restrizioni sulle spiegazioni tramite sanzioni sul disaccordo tra punteggi di attribuzione delle caratteristiche e punteggi a base di verità artigianali [26, 27, 41]. Inoltre, è stato fatto lavoro per sfruttare il disaccordo tra diverse spiegazioni post-hoc per costruire nuovi punteggi di attribuzione delle caratteristiche che migliorano le metriche come la stabilità e l'accordo di punteggio in coppia [2, 16, 25]. 
 
 Questo documento è disponibile su archiv sotto la licenza CC BY 4.0 DEED. Questo documento è Con la licenza CC BY 4.0 DEED. Disponibile in archivio Disponibile in archivio

Part of HackerNoon's growing list of open-source research papers, promoting free access to academic material.

Read My Stories

No technological innovation comes without sacrifice. The pendulum will swing back to the people! Wanna' be 501c3.

Nuovo studio AI affronta il problema della trasparenza nei modelli Black-Box

About Author

COMMENTI

CARTELLINI

QUESTO ARTICOLO È STATO PRESENTATO IN

Related Stories

Raggiungi più lettori! POTENZIA la tua storia su HackerNoon

10 Reasons Why Publishing on HackerNoon Will Skyrocket Your Reach and Impact

Meet the HackerNoon Top Writers: Nebojsa Nesha Todorovic - Upwork, Freelancing, and Future of Work

Netflix Brings Out the Big Guns

Raggiungi più lettori! POTENZIA la tua storia su HackerNoon

10 Reasons Why Publishing on HackerNoon Will Skyrocket Your Reach and Impact

Meet the HackerNoon Top Writers: Nebojsa Nesha Todorovic - Upwork, Freelancing, and Future of Work

Netflix Brings Out the Big Guns

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps