
 
 
 
 
 
 
 De auteurs: (1) Avi Schwarzschild, Universiteit van Maryland, College Park, Maryland, VS en Werk voltooid tijdens het werken bij Arthur (avi1umd.edu); (2) Max Cembalest, Arthur, New York City, New York, Verenigde Staten; (3) Karthik Rao, Arthur, New York, New York, Verenigde Staten; (4) Keegan Hines, Arthur, New York, New York, Verenigde Staten; (5) John Dickerson†, Arthur, New York City, New York, Verenigde Staten (john@arthur.ai). Authors: (1) Avi Schwarzschild, Universiteit van Maryland, College Park, Maryland, VS en Werk voltooid tijdens het werken bij Arthur (avi1umd.edu); (2) Max Cembalest, Arthur, New York City, New York, Verenigde Staten; (3) Karthik Rao, Arthur, New York, New York, Verenigde Staten; (4) Keegan Hines, Arthur, New York City, New York, USA; (5) John Dickerson†, Arthur, New York City, New York, Verenigde Staten (john@arthur.ai). Tafel links Abstract en 1e inleiding 1.1 Post hoc uitleg 1.2 Het probleem van onenigheid 1.3 Encouraging Explanation Consensus 
 
 
 
 
 
 
 Related Work 
 
 Pear: Post HOC Explainer Agreement Regularizer 
 
 
 
 
 
 
 
 The Efficacy of Consensus Training 4.1 Agreement Metrics 4.2 Improving Consensus Metrics 4.3 Consistency At What Cost? 4.4 Are the Explanations Still Valuable? 4.5 Consensus and Linearity 4.6 Two Loss Terms 
 
 
 
 Discussion 5.1 Future Work 5.2 Conclusion, Acknowledgements, and References Bijlage ABSTRACT Aangezien neurale netwerken steeds meer kritische beslissingen nemen in highstakes-instellingen, is het monitoren en verklaren van hun gedrag op een begrijpelijke en betrouwbare manier een noodzaak. Een algemeen gebruikte soort verklarer is post-hoc-functie-attributie, een familie methoden om elk kenmerk in een input een score te geven die overeenkomt met de invloed ervan op de output van een model. Een belangrijke beperking van deze familie van verklarers in de praktijk is dat ze het niet eens kunnen zijn over welke kenmerken belangrijker zijn dan anderen. Onze bijdrage in dit document is een trainingsmethode voor modellen met dit onenigheidsprobleem in het achterhoofd. We doen dit door een Post-hoc Explainer Agreement Regularization (PEAR 1 Inleiding Aangezien machine learning onlosmakelijk wordt van belangrijke maatschappelijke sectoren zoals gezondheidszorg en financiën, wordt een grotere transparantie van hoe complexe modellen bij hun beslissingen komen van cruciaal belang. In dit werk onderzoeken we een gemeenschappelijke taak ter ondersteuning van modeltransparantie die ontstaat bij de implementatie van complexe zwarte doosmodellen in productie-instellingen: uitleggen welke kenmerken in de input het meest invloed hebben op de modeluitvoer. 1.1 Post hoc uitleg De methoden van modelverklaring die in dit artikel worden beschouwd, zijn post hoc lokale kenmerkenattributiescores.Het veld van verklaarbare kunstmatige intelligentie (XAI) produceert snel verschillende methoden van deze type to make sense of model behavior [e.g., 21, 24, 30, 32, 37]. Each of these methods has a slightly different formula and interpretation of its raw output, but in general they all perform the same task of attributing a model’s behavior to its input features. When tasked to explain a model’s output with a corresponding input (and possible access to the model weights), these methods answer the question, “How influential is each individual feature of the input in the model’s computation of the output?” Gegevenswetenschappers gebruiken post-hoc verklarers met toenemende snelheden - populaire methoden zoals LIME en SHAP hebben in de afgelopen 30 dagen respectievelijk meer dan 350 duizend en 6 miljoen downloads van hun Python-pakketten gehad [23]. 1.2 The Disagreement Problem The explosion of different explanation methods leads Krishna et al. [15] to observe that when neural networks are trained naturally, i.e. for accuracy alone, often post hoc explainers disagree on how much different features influenced a model’s outputs. They coin the term the disagreement problem and argue that when explainers disagree about which features of the input are important, practitioners have little concrete evidence as to which of the explanations, if any, to trust. Er is een belangrijke discussie rond lokale verklarers en hun ware waarde bij het bereiken van het gemeenschappelijke doel van model transparantie en interpretabiliteit [zie, bijvoorbeeld, 7, 18, 29]; inderdaad, er zijn lopende discussies over de effectiviteit van de huidige verklaringsmethoden in specifieke gebieden [voor gezondheidszorg, zie, bijvoorbeeld, 8]. kenmerken belang schattingen kunnen falen om een model transparanter te maken wanneer het model wordt uitgelegd is te complex om gemakkelijk toe te schrijven aan de bijdrage van elke individuele kenmerk. In dit artikel maken we geen normatieve oordelen met betrekking tot dit debat, maar beschouwen we “verklaringen” eerder als signalen die naast andere debugging-, validatie- en verificatiebenaderingen in de machine learning operations (MLOps) pipeline moeten worden gebruikt. 1.3 Bevorderen van uitleg consensus Consensus tussen twee verklarers vereist niet dat de verklarers dezelfde exacte scores voor elk kenmerk produceren. In plaats daarvan betekent consensus tussen verklarers dat elk verschil dat ze laten zien kan worden verzoend. Gegevenswetenschappers en machine learning beoefenaars zeggen in een enquête dat verklaringen in basisovereenstemming zijn als ze voldoen aan overeenstemmingsmetricen die in lijn zijn met menselijke intuïtie, wat een kwantitatieve manier biedt om te beoordelen in hoeverre consensus wordt bereikt [15]. Wanneer men wordt geconfronteerd met onenigheid tussen verklarers, moet er een keuze worden gemaakt over wat er verder moet gebeuren - als een dergelijk willekeurig kruispuntmoment kan worden vermeden via gespecialiseerde modelopleiding, geloven we dat dit een waardevolle We stellen als onze belangrijkste bijdrage een trainingsroutine voor om de uitdaging te helpen verlichten die wordt veroorzaakt door post-hoc-verklaringsverschillen. Het bereiken van een betere consensus tussen verklaringen zorgt niet voor meer interpretatie van een model inherent. Maar het kan meer vertrouwen geven in de verklaringen als verschillende benaderingen van toewijzing vaker overeenkomen over welke kenmerken belangrijk zijn. Dit geeft consensus het praktische voordeel van het handelen als een gezonde controle - als consensus wordt waargenomen, is de keuze van de verklaring die een beoefenaar gebruikt minder consequentieel ten opzichte van de impact van downstream stakeholders, waardoor hun interpretatie minder subjectief is. 2 Gerelateerde werkzaamheden Sommige post hoc verklarers, zoals LIME [24] en SHAP [21], zijn proxy modellen getraind op een basis machine learning model met de enige bedoeling van "verklaren" dat basismodel. Deze verklarers vertrouwen alleen op de inputs en outputs van het model om opvallende kenmerken te identificeren. Andere verklarers, zoals Vanilla Gradients (Grad) [32], Gradient Times Input (Grad*Input) [30], Integrated Gradients (IntGrad) [37] en SmoothGrad [34], gebruiken niet een proxy model, maar berekenen in plaats daarvan de gradiënten van een model met betrekking tot input kenmerken om belangrijke kenmerken te identificeren.[1] Elk van deze verklarers heeft zijn eigenaardigheden en er zijn redenen om ze te Disagreement hier verwijst naar het verschil in kenmerken betekenis punten tussen twee kenmerken toewijzing methoden, maar kan worden gekwantificeerd op verschillende manieren zoals beschreven door de metricen Krishna et al. [15] definiëren en gebruiken. De methode die we in dit artikel voorstellen, heeft betrekking op eerdere werk dat modellen traint met beperkingen op verklaringen via straffen op de onenigheid tussen kenmerken attributie scores en handgemaakte grond-waarheid scores [26, 27, 41]. 
 
 This paper is   under CC BY 4.0 DEED license. available on arxiv Dit papier is  under CC BY 4.0 DEED license. available on arxiv available on arxiv

Part of HackerNoon's growing list of open-source research papers, promoting free access to academic material.

Read My Stories

No technological innovation comes without sacrifice. The pendulum will swing back to the people! Wanna' be 501c3.

Nieuwe AI-studie behandelt het transparantieprobleem in Black-Box-modellen

About Author

OPMERKINGEN

LABELS

DIT ARTIKEL WERD GEPRESENTEERD IN

Related Stories

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps