
 
 
 
 
 
 
 Les auteurs : (1) Avi Schwarzschild, Université du Maryland, College Park, Maryland, États-Unis et Travail achevé en travaillant chez Arthur (avi1umd.edu); (2) Max Cembalest, Arthur, New York, New York, États-Unis ; (3) Karthik Rao, Arthur, New York, New York, États-Unis ; (4) Keegan Hines, Arthur, New York, New York, États-Unis ; (5) John Dickerson†, Arthur, New York, New York, États-Unis (john@arthur.ai). Authors: (1) Avi Schwarzschild, Université du Maryland, College Park, Maryland, États-Unis et Travail achevé en travaillant chez Arthur (avi1umd.edu); (2) Max Cembalest, Arthur, New York, New York, États-Unis ; (3) Karthik Rao, Arthur, New York, New York, États-Unis ; (4) Keegan Hines, Arthur, New York, New York, États-Unis ; (5) John Dickerson†, Arthur, New York, New York, États-Unis (john@arthur.ai). Table de gauche Abstraction et 1ère introduction 1.1 Explication post hoc 1.2 Le problème du désaccord 1.3 Encourager le consensus explicatif 
 
 
 
 
 
 
 Related Work 
 
 Pear: Post HOC Explainer Agreement Regularizer 
 
 
 
 
 
 
 
 The Efficacy of Consensus Training 4.1 Agreement Metrics 4.2 Improving Consensus Metrics 4.3 Consistency At What Cost? 4.4 Are the Explanations Still Valuable? 4.5 Consensus and Linearity 4.6 Two Loss Terms 
 
 
 
 Discussion 5.1 Future Work 5.2 Conclusion, Acknowledgements, and References Appendice abstrait Comme les réseaux neuronaux prennent de plus en plus de décisions critiques dans les réglages de mise à hauteur, la surveillance et l'explication de leur comportement d'une manière compréhensible et fiable est une nécessité. Un type d'expliquant couramment utilisé est l'attribution de caractéristiques post hoc, une famille de méthodes pour donner à chaque caractéristique dans une entrée un score correspondant à son influence sur la sortie d'un modèle. Une limitation majeure de cette famille d'expliquants en pratique est qu'ils peuvent ne pas être d'accord sur les caractéristiques qui sont plus importantes que d'autres. Notre contribution dans ce document est une méthode de modèles de formation avec ce problème de désaccord en tête. Nous le faisons en introduisant un terme de perte 1 Introduction À mesure que l’apprentissage automatique devient inséparable des secteurs sociaux importants tels que la santé et les finances, la transparence accrue de la façon dont les modèles complexes arrivent à leurs décisions devient critique. Dans ce travail, nous examinons une tâche commune de soutien à la transparence des modèles qui survient avec le déploiement de modèles de boîtes noires complexes dans les environnements de production: expliquer quelles caractéristiques de l’entrée sont les plus influentes dans la sortie du modèle. Cette pratique permet aux scientifiques des données et aux praticiens de l’apprentissage automatique de classer les caractéristiques par importance – les caractéristiques ayant un impact élevé sur la sortie du modèle sont considérées comme plus importantes, 1.1 Explication post hoc Les méthodes d'explication des modèles considérées dans ce document sont les scores d'attribution des caractéristiques locales post-hoc. Le domaine de l'intelligence artificielle explicable (XAI) produit rapidement différentes méthodes de cette méthode. Chacune de ces méthodes a une formule et une interprétation légèrement différentes de sa sortie brute, mais en général, elles remplissent toutes la même tâche d'attribuer le comportement d'un modèle à ses caractéristiques d'entrée. Lorsqu'elles sont chargées d'expliquer la sortie d'un modèle avec une entrée correspondante (et un accès possible aux poids du modèle), ces méthodes répondent à la question, "Comment chaque caractère individuel de l'entrée est-il influent dans le calcul de la sortie du modèle?" Les scientifiques des données utilisent des explicateurs post-hoc à des taux croissants - des méthodes populaires telles que LIME et SHAP ont eu plus de 350 mille et 6 millions de téléchargements de leurs paquets Python au cours des 30 derniers jours, respectivement [23]. 1.2 Le problème du désaccord L'explosion des différentes méthodes d'explication conduit Krishna et al. [15] à observer que lorsque les réseaux neuronaux sont formés naturellement, c'est-à-dire pour la précision seule, souvent les explicateurs post-hoc ne sont pas d'accord sur la façon dont les différentes caractéristiques ont influencé les sorties d'un modèle. Il y a une discussion importante autour des explicateurs locaux et de leur véritable valeur pour atteindre l'objectif commun de transparence et d'interprétation du modèle [voir, par exemple, 7, 18, 29] ; en effet, il y a des discussions en cours sur l'efficacité des méthodes d'explication actuelles dans des domaines spécifiques [pour les soins de santé voir, par exemple, 8]. Dans ce document, nous ne faisons pas de jugements normatifs concernant ce débat, mais considérons plutôt les «explications» comme des signaux à utiliser aux côtés d’autres approches de débogage, de validation et de vérification dans le pipeline des opérations d’apprentissage automatique (MLOps). 1.3 Encourager le consensus explicatif Le consensus entre deux explicateurs n'exige pas que les explicateurs produisent les mêmes scores exacts pour chaque fonctionnalité. Au contraire, le consensus entre les explicateurs signifie que tout désaccord qu'ils expriment peut être réconcilié. Les scientifiques des données et les praticiens de l'apprentissage automatique disent dans une enquête que les explications sont en accord de base s'ils satisfont aux indicateurs d'accord alignés avec l'intuition humaine, ce qui fournit un moyen quantitatif d'évaluer la mesure dans laquelle le consensus est atteint [15]. Lorsqu'ils sont confrontés à des désaccords entre les explicateurs, un choix doit être fait sur ce qu'il faut faire ensuite - si un tel moment de croisement arbitraire est évitable via une formation de Nous proposons, comme notre contribution principale, une routine de formation pour aider à soulager le défi posé par le désaccord d’explication post-hoc. Acquérir un meilleur consensus entre les explications ne fournit pas une interprétabilité accrue à un modèle inhérent. Mais, il peut donner plus de confiance aux explications si les différentes approches à l’attribution conviennent plus souvent sur quelles caractéristiques sont importantes. Cela donne au consensus l’avantage pratique d’agir comme un contrôle de la santé – si le consensus est observé, le choix de l’expliquant qu’un praticien utilise est moins conséquent par rapport à l’impact des parties prenantes en aval, ce qui rend leur interprétation moins subjective. 2 Travaux connexes Notre travail se concentre sur les outils d’explication post-hoc. Certains explicateurs post-hoc, comme LIME [24] et SHAP [21], sont des modèles proxy formés au-dessus d’un modèle d’apprentissage automatique de base avec l’unique intention de « expliquer » ce modèle de base. Ces explicateurs ne se basent que sur les entrées et les sorties du modèle pour identifier les caractéristiques importantes. D’autres explicateurs, tels que Vanilla Gradients (Grad) [32], Gradient Times Input (Grad*Input) [30], Integrated Gradients (IntGrad) [37] et SmoothGrad [34], ne calculent pas les gradients d’un modèle par rapport aux caractéristiques d’entrée. D’autres Nous nous basons directement sur le travail précédent qui définit et explore le problème de désaccord [15]. Le désaccord ici se réfère à la différence dans les scores d'importance des caractéristiques entre deux méthodes d'attribution des caractéristiques, mais peut être quantifié de plusieurs façons différentes comme décrit par les métriques Krishna et al. [15] définir et utiliser. La méthode que nous proposons dans ce document se rapporte à des travaux antérieurs qui entraînent des modèles avec des contraintes sur les explications via des pénalités sur le désaccord entre les scores d'attribution des caractéristiques et les scores de vérité de base fabriqués à la main [26, 27, 41]. En outre, des travaux ont été réalisés pour tirer parti du désaccord entre les différentes explications post-hoc pour construire de nouveaux scores d'attribution des caractéristiques qui améliorent des mesures telles que la stabilité et l'accord de classement par paires [2, 16, 25]. 
 
 Ce document est disponible sous la licence CC BY 4.0 DEED. Ce document est disponible sous la licence CC BY 4.0 DEED. Disponible dans les archives

Part of HackerNoon's growing list of open-source research papers, promoting free access to academic material.

Read My Stories

No technological innovation comes without sacrifice. The pendulum will swing back to the people! Wanna' be 501c3.

Reckoning's Blog

Cet audio est produit dans la langue originale de l'histoire !

Une nouvelle étude sur l'IA aborde le problème de la transparence dans les modèles de boîtes noires

About Author

COMMENTAIRES

ÉTIQUETTES

CET ARTICLE A ÉTÉ PARU DANS

Related Stories

Comment améliorer votre flux de travail par 10 : 17 applications essentielles

La fuite de l'invite du système Claude Sonnet 3.5 : une analyse médico-légale

Le guide complet pour réussir une migration vers le cloud : stratégies et bonnes pratiques

Croissance des crypto-monnaies : créer des profils d'utilisateurs efficaces

Comment améliorer votre flux de travail par 10 : 17 applications essentielles

La fuite de l'invite du système Claude Sonnet 3.5 : une analyse médico-légale

Le guide complet pour réussir une migration vers le cloud : stratégies et bonnes pratiques

Croissance des crypto-monnaies : créer des profils d'utilisateurs efficaces

Light-Mode

Classic

Newspaper

Minty

Dark-Mode

Neon Noir

Minty

HN StartUps