
 
 
 
 
 
 
 저자 : (1) Avi Schwarzschild, University of Maryland, College Park, Maryland, USA and Work completed while working at Arthur (avi1umd.edu) (2) Max Cembalest, Arthur, 뉴욕시, 뉴욕, 미국 (3) Karthik Rao, Arthur, 뉴욕시, 뉴욕, 미국 (4) Keegan Hines, Arthur, 뉴욕시, 미국 (5) John Dickerson†, Arthur, 뉴욕시, 뉴욕, 미국 (john@arthur.ai) Authors: (1) Avi Schwarzschild, University of Maryland, College Park, Maryland, USA and Work completed while working at Arthur (avi1umd.edu) (2) Max Cembalest, Arthur, 뉴욕시, 뉴욕, 미국 (3) Karthik Rao, Arthur, 뉴욕시, 뉴욕, 미국 (4) Keegan Hines, Arthur, 뉴욕시, 미국 (5) John Dickerson†, Arthur, 뉴욕시, 뉴욕, 미국 (john@arthur.ai) 테이블 왼쪽 abstract 및 1.introduction 1.1 Post Hoc 설명 1.2 불일치의 문제 1.3 설명의 합의를 촉진하기 
 
 
 
 
 
 
 Related Work 
 
 Pear: Post HOC Explainer Agreement Regularizer 
 
 
 
 
 
 
 
 The Efficacy of Consensus Training 4.1 Agreement Metrics 4.2 Improving Consensus Metrics 4.3 Consistency At What Cost? 4.4 Are the Explanations Still Valuable? 4.5 Consensus and Linearity 4.6 Two Loss Terms 
 
 
 
 Discussion 5.1 Future Work 5.2 Conclusion, Acknowledgements, and References 첨부 abstract에 관하여 신경 네트워크가 높은 베팅 설정에서 점점 더 중요한 결정을 내릴 때, 이해할 수 있고 신뢰할 수있는 방식으로 자신의 행동을 모니터링하고 설명하는 것이 필수적입니다. 일반적으로 사용되는 설명 유형 중 하나는 포스트 호크 기능 할당 (post hoc feature attribution), 입력의 각 기능에 모델 출력에 미치는 영향에 해당하는 점수를 부여하는 방법의 가족입니다. 실천에서 설명자의이 가족의 주요 한계는 그들이 다른 사람들보다 어떤 기능이 더 중요하다는 것에 동의할 수 있다는 것입니다. 이 논문에서 우리의 기여는이 불일치 문제를 염두에두고 훈련 모델을 훈련하는 방법입니다. 우리는 포스트 호크 설명 계약 규칙화 (PEAR) 손실 기간을 모델의 정확성에 해당하는 표준 기간과 함께 소개함으로써 1 소개 의료 및 금융과 같은 중요한 사회 부문에서 기계 학습이 분리될 때 복잡한 모델이 결정에 도달하는 방법에 대한 투명성을 높이는 것이 중요해지고 있습니다.이 작업에서 우리는 생산 환경에서 복잡한 블랙박스 모델을 배포함으로써 발생하는 모델 투명성을 지원하는 공통적인 작업을 검토합니다.이 관행은 데이터 과학자와 기계 학습 전문가가 모델 출력에 큰 영향을 미치는 기능을 더 중요하게 생각하고 모델 출력에 적은 영향을 미치는 기능을 덜 중요하게 생각합니다.이 측정 정보는 모델 사용자가 모델을 디버그하고 품질을 검사하는 방법뿐만 아니라 이해 관계자들에게 모델 행동을 설명하는 방법을 알려줍니다. 1.1 Post Hoc 설명 이 논문에서 고려된 모델 설명의 방법은 포스트 하코 로컬 특징 부여 점수입니다.The field of explainable artificial intelligence (XAI) is rapidly producing different methods of this. 예를 들어, 21, 24, 30, 32, 37의 모델 행동을 이해하기 위한 형식입니다.이 방법들 각각은 원시 출력에 대한 약간 다른 공식과 해석을 가지고 있지만, 일반적으로 그들은 모두 모델의 출력 특성에 대한 모델의 행동을 기인하는 동일한 작업을 수행합니다.모델의 출력을 일치하는 입력(및 모델 무게에 대한 가능한 액세스)로 설명하는 작업을 수행할 때, 이러한 방법들은 질문에 대답합니다. 데이터 과학자들은 점점 증가하는 속도로 포스트 호크 설명기를 사용하고 있습니다 – LIME와 SHAP와 같은 인기있는 방법은 지난 30일 동안 각각 350,000번과 6백만번 이상의 파이썬 패키지를 다운로드했습니다 [23]. 1.2 불일치의 문제 다양한 설명 방법의 폭발은 Krishna et al. [15] 신경 네트워크가 자연스럽게 훈련되었을 때, 즉 정확성만을 위해, 종종 포스트 호크 설명자는 모델의 출력에 얼마나 다른 특징이 영향을 미쳤는지에 대해 동의하지 않는다는 것을 관찰합니다. 모델의 투명성과 해석성의 공통 목표를 달성하는 데 현지 설명자와 그 진정한 가치에 관한 중요한 논의가 있습니다 [예를 들어, 7, 18, 29 참조]; 사실, 특정 영역에서 현재 설명 방법의 효율성에 대한 논의가 진행되고 있습니다 [건강을 위해, 예를 들어, 8 참조]. 특성 중요성 추정은 설명되는 모델이 각 개별 특성의 기여에 쉽게 기여할 수 없을 때 모델을보다 투명하게 만드는 데 실패할 수 있습니다. 이 논문에서 우리는이 논쟁에 대해 규범적 인 판단을 내리지 않고 오히려 기계 학습 운영 (MLOps) 파이프라인에서 다른 디버깅, 검증 및 검증 접근 방식과 함께 사용될 신호로 " 설명"을 보았습니다.특히, 우리는 다음과 같은 실용적인 접근 방식을 취합니다 : 이해 관계자를 보호하는 좌절의 지점 대신에 설명 불일치의 양을 제어 가능한 모델 매개 변수로 만듭니다. 1.3 설명의 합의를 촉진하기 두 설명자 간의 합의는 설명자들이 각 특징에 대해 동일한 정확한 점수를 출력하도록 요구하지 않는다. 오히려 설명자 간의 합의는 그들이 나타내는 어떠한 불일치를 조화시킬 수 있다는 것을 의미한다. 데이터 과학자와 기계 학습 실무자들은 설문조사에서 설명이 인간의 직관과 일치하는 합의 지표를 충족시키면 설명이 기본적으로 동의한다고 말합니다. 이는 합의가 도달되는 정도를 정량화하는 방법을 제공합니다 [15]. 설명자 간의 불일치에 직면하면 다음에 무엇을해야 할지에 대해 선택해야합니다. 우리는, 우리의 주요 공헌으로, 훈련 루틴을 제안 하 여 포스트 호크 설명 불일치에 의해 제기 된 도전을 완화 하는 데 도움이 됩니다. 설명 사이의 더 나은 합의를 달성 하는 것은 본질적으로 모델에 더 많은 해석 가능성을 제공 하지 않습니다. 그러나, 그것은 설명에 더 많은 신뢰를 부여할 수 있습니다, 할당에 대한 다른 접근 방식이 더 자주 동의 하는 특징에 대 한 중요 합니다. 이것은 합의 의식으로 행동 하는 실질적인 이익을 제공 합니다 – 합의가 관찰 되는 경우, 전문가가 사용 하는 설명의 선택은 후속 이해 관계자 영향에 대 한 덜 결과적인, 그들의 해석을 덜 주관적입니다. 2 관련 작업 LIME [24] 및 SHAP [21]와 같은 일부 포스트 호크 설명 도구에 초점을 맞추고 있습니다. 일부 포스트 호크 설명 도구는 기본 기계 학습 모델 위에서 훈련 된 프록시 모델이며, 이 설명 도구는 기본 모델을 "설명"하는 유일한 목적을 가지고 있습니다. 이 설명 도구는 모델의 입력 및 출력만을 사용하여 주목할 만한 특징을 식별합니다. 다른 설명 도구는 Vanilla Gradients (Grad) [32], Gradient Times Input (Grad*Input) [30], Integrated Gradients (IntGrad) [37] 및 SmoothGrad [34]와 같은 다른 설명 도구는 중요한 특징을 식별하기 위하여 모델의 gradients를 계산하지 않습니다.[1] 이 설명 도구의 각 유형은 중요한 특징을 우리는 불일치 문제를 정의하고 탐구하는 이전 작업을 직접 기반으로합니다 [15]. 불일치는 여기서 두 가지 특징 할당 방법 사이의 특징 중요성 점수 차이를 언급하지만, 측정 Krishna et al. [15]이 정의하고 사용하는 방식으로 몇 가지 다른 방법으로 정량화 될 수 있습니다. 이 논문에서 우리가 제안하는 방법은 특징 할당 점수와 수작업 기본 진실 점수 사이의 불일치에 대한 처벌을 통해 설명에 대한 제한을 가진 모델을 훈련하는 이전의 작업과 관련이 있습니다 [26, 27, 41].또한, 새로운 특징 할당 점수를 구축하기 위해 다른 포스트 호크 설명 사이의 불일치를 활용하기 위해 작업이 이루어졌습니다 안정성과 쌍방향 순위 합의와 같은 지표를 향상시키는 [2, 16, 25]. 
 
 이 문서는 CC BY 4.0 DEED 라이선스 아래서 archiv에서 사용할 수 있습니다. 이 문서는 CC BY 4.0 DEED 라이선스 아래서 archiv에서 사용할 수 있습니다. Archive 에서 이용 가능

Part of HackerNoon's growing list of open-source research papers, promoting free access to academic material.

Read My Stories

No technological innovation comes without sacrifice. The pendulum will swing back to the people! Wanna' be 501c3.

Reckoning's Blog

이 오디오는 이야기의 원래 언어로 제작되었습니다!

새로운 AI 연구는 블랙박스 모델의 투명성 문제를 해결합니다.

About Author

코멘트

태그 걸기

이 기사는 다음에서 발표되었습니다.

Related Stories

Crypto Growth: 효과적인 사용자 페르소나 만들기

텔레그램: 크립토 아일랜드에서 본토로 연결되는 다리

작업 흐름을 10배 향상하는 방법: 17가지 필수 앱

탭하여 수익 창출: 텔레그램에서 솔라나 이전에 100억 명의 암호화폐 사용자를 확보할 수 있음

Crypto Growth: 효과적인 사용자 페르소나 만들기

텔레그램: 크립토 아일랜드에서 본토로 연결되는 다리

작업 흐름을 10배 향상하는 방법: 17가지 필수 앱

탭하여 수익 창출: 텔레그램에서 솔라나 이전에 100억 명의 암호화폐 사용자를 확보할 수 있음

Light-Mode

Classic

Newspaper

Minty

Dark-Mode

Neon Noir

Minty

HN StartUps