
 
 
 
 
 
 
 Los autores: (1) Avi Schwarzschild, Universidad de Maryland, College Park, Maryland, Estados Unidos y Trabajo completado mientras trabajaba en Arthur (avi1umd.edu); (2) Max Cembalest, Arthur, Ciudad de Nueva York, Nueva York, Estados Unidos; (3) Karthik Rao, Arthur, Ciudad de Nueva York, Nueva York, Estados Unidos; (4) Keegan Hines, Arthur, Ciudad de Nueva York, Nueva York, Estados Unidos; (5) John Dickerson†, Arthur, Nueva York, Nueva York, Estados Unidos (john@arthur.ai). Authors: (1) Avi Schwarzschild, Universidad de Maryland, College Park, Maryland, Estados Unidos y Trabajo completado mientras trabajaba en Arthur (avi1umd.edu); (2) Max Cembalest, Arthur, Ciudad de Nueva York, Nueva York, Estados Unidos; (3) Karthik Rao, Arthur, Ciudad de Nueva York, Nueva York, Estados Unidos; (4) Keegan Hines, Arthur, Ciudad de Nueva York, Nueva York, Estados Unidos; (5) John Dickerson†, Arthur, Nueva York, Nueva York, Estados Unidos (john@arthur.ai). Mesa de la izquierda Abstracto y 1a Introducción 1.1 Explicación post hoc 1.2 El problema del desacuerdo 1.3 Fomentar el consenso explicativo 
 
 
 
 
 
 
 Related Work 
 
 Pear: Post HOC Explainer Agreement Regularizer 
 
 
 
 
 
 
 
 The Efficacy of Consensus Training 4.1 Agreement Metrics 4.2 Improving Consensus Metrics 4.3 Consistency At What Cost? 4.4 Are the Explanations Still Valuable? 4.5 Consensus and Linearity 4.6 Two Loss Terms 
 
 
 
 Discussion 5.1 Future Work 5.2 Conclusion, Acknowledgements, and References Anexo Abstracción A medida que las redes neuronales toman cada vez más decisiones críticas en la configuración de las apuestas altas, el monitoreo y la explicación de su comportamiento de una manera comprensible y confiable es una necesidad. Un tipo comúnmente utilizado de explicador es la atribución de características post hoc, una familia de métodos para dar a cada característica en una entrada una puntuación correspondiente a su influencia en la salida de un modelo. Una gran limitación de esta familia de explicadores en la práctica es que pueden discrepar sobre qué características son más importantes que otras. Nuestra contribución en este documento es un método de formación de modelos con este problema de desacuerdo en mente. Lo hacemos introduciendo un término de pérdida de Regularización del Acuerdo Explicador Post hoc (PEAR) junto al término estándar de estudio correspondiente a la exactitud, un 1 Introducción A medida que el aprendizaje automático se vuelve inseparable de importantes sectores sociales como la salud y las finanzas, la mayor transparencia de cómo los modelos complejos llegan a sus decisiones se vuelve crítica. En este trabajo, examinamos una tarea común en apoyo de la transparencia del modelo que surge con la implementación de modelos de cajas negras complejas en los entornos de producción: explicando qué características de la entrada son más influyentes en la salida del modelo. Esta práctica permite a los científicos de datos y a los profesionales del aprendizaje automático clasificar las características por importancia – las características con un alto impacto en la salida del modelo se consideran más importantes, y las que tienen poco impacto en la salida del modelo se consideran menos importantes. 1.1 Explicación post hoc Los métodos de explicación del modelo considerados en este artículo son las puntuaciones post hoc de atribución local de características.El campo de la inteligencia artificial explicable (XAI) está produciendo rápidamente diferentes métodos de este cada uno de estos métodos tiene una fórmula ligeramente diferente e interpretación de su salida cruda, pero en general todos realizan la misma tarea de atribuir el comportamiento de un modelo a sus características de entrada.Cuando se le encarga explicar la salida de un modelo con una entrada correspondiente (y posible acceso a los pesos del modelo), estos métodos responden a la pregunta, “¿Cuán influyente es cada característica individual de la entrada en el cálculo de la salida del modelo?” Los científicos de datos están utilizando explicadores post hoc a tasas crecientes: métodos populares como LIME y SHAP han tenido más de 350 mil y 6 millones de descargas de sus paquetes de Python en los últimos 30 días, respectivamente. 1.2 El problema del desacuerdo La explosión de diferentes métodos de explicación lleva a Krishna et al. [15] a observar que cuando las redes neuronales se entrenan de forma natural, es decir, para la exactitud sola, a menudo los explicadores post hoc discrepan sobre cuánto diferentes características influyeron en los resultados de un modelo. Hay una discusión importante en torno a los explicadores locales y su verdadero valor en alcanzar el objetivo común de transparencia y interpretabilidad del modelo [ver, por ejemplo, 7, 18, 29]; de hecho, hay discusiones en curso sobre la eficacia de los métodos de explicación actuales en dominios específicos [para la salud ver, por ejemplo, 8]. estimaciones de importancia de la característica pueden fallar en hacer un modelo más transparente cuando el modelo explicado es demasiado complejo para permitir atribuir fácilmente el resultado a la contribución de cada característica individual. En este artículo, no hacemos juicios normativos con respecto a este debate, sino que consideramos las “explicaciones” como señales que se utilizan junto con otros enfoques de depuración, validación y verificación en el tubo de operaciones de aprendizaje automático (MLOps). 1.3 Fomentar el consenso explicativo El consenso entre dos explicadores no requiere que los explicadores produzcan las mismas puntuaciones exactas para cada característica. Más bien, el consenso entre los explicadores significa que cualquier desacuerdo que exponen puede ser reconciliado. Los científicos de datos y los practicantes de aprendizaje automático dicen en una encuesta que las explicaciones están en acuerdo básico si cumplen con las métricas de acuerdo que se alinean con la intuición humana, lo que proporciona una manera cuantitativa de evaluar la medida en que se está alcanzando el consenso [15]. Cuando se enfrentan a desacuerdos entre los explicadores, se debe hacer una elección sobre qué hacer a continuación – si un momento arbitrario de cruce de caminos es evitable a través de la formación de modelos especializados, creemos que sería una adición valiosa al kit de herramientas de Proponemos, como nuestra principal contribución, una rutina de capacitación para ayudar a aliviar el desafío planteado por el desacuerdo de explicación post hoc. Lograr un mejor consenso entre las explicaciones no proporciona más interpretabilidad a un modelo inherentemente. Pero, puede prestar más confianza a las explicaciones si los diferentes enfoques de atribución coinciden con más frecuencia en qué características son importantes. Esto da al consenso el beneficio práctico de actuar como un control de sanidad – si se observa el consenso, la elección de cuál de los explicadores que utiliza un practicante es menos coherente con respecto al impacto de las partes interesadas a continuación, haciendo que su interpretación sea menos subjetiva. 2 Trabajo relacionado Nuestro trabajo se centra en las herramientas de explicación post hoc. Algunos explicadores post hoc, como LIME [24] y SHAP [21], son modelos proxy entrenados en un modelo de aprendizaje de máquina base con la única intención de “explicar” ese modelo de base. Estos explicadores no se basan sólo en las entradas y salidas del modelo para identificar características salientes. Otros explicadores, como Vanilla Gradients (Grad) [32], Gradient Times Input (Grad*Input) [30], Integrated Gradients (IntGrad) [37] y SmoothGrad [34], no utilizan un modelo de proxy, sino que computan los gradientes de un modelo con respecto a las características de entrada para identificar características importantes.[1] Cada uno de estos explicadores tiene sus curiosidades y hay razones para usarlos, o no usarlos, todos Nos basamos directamente en el trabajo anterior que define y explora el problema de desacuerdo [15]. Desacuerdo aquí se refiere a la diferencia en puntuaciones de importancia de características entre dos métodos de atribución de características, pero puede ser cuantificado de varias maneras diferentes como son descritas por las métricas Krishna et al. [15] definir y usar. El método que proponemos en este artículo se refiere al trabajo anterior que capacita a los modelos con restricciones sobre las explicaciones a través de las penas sobre el desacuerdo entre las puntuaciones de atribución de características y las puntuaciones de verdad básica hechas a mano [26, 27, 41]. Adicionalmente, se ha hecho trabajo para aprovechar el desacuerdo entre diferentes explicaciones post-hoc para construir nuevas puntuaciones de atribución de características que mejoren métricas como la estabilidad y el acuerdo de clasificación en pareja [2, 16, 25]. 
 
 Este artículo está disponible en archivo bajo la licencia CC BY 4.0 DEED. Este documento es bajo la licencia CC BY 4.0 DEED. Disponible en Archivo Disponible en Archivo

Part of HackerNoon's growing list of open-source research papers, promoting free access to academic material.

Read My Stories

No technological innovation comes without sacrifice. The pendulum will swing back to the people! Wanna' be 501c3.

Reckoning's Blog

Este audio es producido en el idioma original de la historia!

Demasiado Largo; Para Leer

Make resilience your competitive advantage

Nuevo estudio de IA aborda el problema de la transparencia en los modelos de cajas negras

About Author

COMENTARIOS

ETIQUETAS

ESTE ARTÍCULO FUE PRESENTADO EN

Related Stories

Navegando por las aguas: desarrollo de aplicaciones RAG de nivel de producción con lagos de datos

¿Quieres ganar un concurso de redacción de HackerNoon? Esto es lo que recomiendan los ganadores del concurso #crypto-api

Una guía del arquitecto para crear una arquitectura de referencia para un lago de datos de IA/ML

La guía completa para una migración exitosa a la nube: estrategias y mejores prácticas

Navegando por las aguas: desarrollo de aplicaciones RAG de nivel de producción con lagos de datos

¿Quieres ganar un concurso de redacción de HackerNoon? Esto es lo que recomiendan los ganadores del concurso #crypto-api

Una guía del arquitecto para crear una arquitectura de referencia para un lago de datos de IA/ML

La guía completa para una migración exitosa a la nube: estrategias y mejores prácticas

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps