
 
 
 
 
 
 
 Tác giả : (1) Avi Schwarzschild, Đại học Maryland, College Park, Maryland, Hoa Kỳ và Công việc hoàn thành trong khi làm việc tại Arthur (avi1umd.edu); (2) Max Cembalest, Arthur, Thành phố New York, New York, Hoa Kỳ; (3) Karthik Rao, Arthur, Thành phố New York, New York, Hoa Kỳ; (4) Keegan Hines, Arthur, Thành phố New York, New York, Hoa Kỳ; (5) John Dickerson†, Arthur, Thành phố New York, New York, Hoa Kỳ (john@arthur.ai). Authors: (1) Avi Schwarzschild, Đại học Maryland, College Park, Maryland, Hoa Kỳ và Công việc hoàn thành trong khi làm việc tại Arthur (avi1umd.edu); (2) Max Cembalest, Arthur, Thành phố New York, New York, Hoa Kỳ; (3) Karthik Rao, Arthur, Thành phố New York, New York, Hoa Kỳ; (4) Keegan Hines, Arthur, Thành phố New York, New York, Hoa Kỳ; (5) John Dickerson†, Arthur, Thành phố New York, New York, Hoa Kỳ (john@arthur.ai). Bàn trái Abstract and 1 - Giới thiệu 1.1 Post hoc giải thích 1.2 Vấn đề bất đồng 1.3 Khuyến khích sự đồng thuận giải thích 
 
 
 
 
 
 
 Related Work 
 
 Pear: Post HOC Explainer Agreement Regularizer 
 
 
 
 
 
 
 
 The Efficacy of Consensus Training 4.1 Agreement Metrics 4.2 Improving Consensus Metrics 4.3 Consistency At What Cost? 4.4 Are the Explanations Still Valuable? 4.5 Consensus and Linearity 4.6 Two Loss Terms 
 
 
 
 Discussion 5.1 Future Work 5.2 Conclusion, Acknowledgements, and References Phụ lục Abstract Khi các mạng thần kinh ngày càng đưa ra quyết định quan trọng trong các cài đặt cao, giám sát và giải thích hành vi của họ một cách dễ hiểu và đáng tin cậy là một điều cần thiết. Một loại giải thích được sử dụng phổ biến là phân bổ tính năng post hoc, một gia đình các phương pháp cho mỗi tính năng trong một đầu vào một điểm tương ứng với ảnh hưởng của nó đối với sản lượng mô hình. Một hạn chế lớn của gia đình giải thích này trong thực tế là họ có thể không đồng ý về những tính năng nào quan trọng hơn những người khác. đóng góp của chúng tôi trong bài báo này là một phương pháp đào tạo mô hình với vấn đề bất đồng này trong tâm trí. Chúng tôi làm điều này bằng cách giới thiệu một tính năng Post hoc Explainer Agreement Regularization (PEAR) thời hạn mất mát cùng với nghiên cứu tiêu chuẩn tương ứng với độ chính xác, một thuật ngữ bổ 1 Giới thiệu Khi máy học trở nên không thể tách rời khỏi các lĩnh vực xã hội quan trọng như chăm sóc sức khỏe và tài chính, sự minh bạch ngày càng tăng về cách các mô hình phức tạp đi đến quyết định của họ đang trở nên rất quan trọng. Trong công việc này, chúng tôi xem xét một nhiệm vụ phổ biến để hỗ trợ tính minh bạch mô hình mà phát sinh với việc triển khai các mô hình hộp đen phức tạp trong các thiết lập sản xuất: giải thích các tính năng trong đầu vào có ảnh hưởng nhất trong sản lượng mô hình. 1.1 Post hoc giải thích Các phương pháp giải thích mô hình được xem xét trong bài báo này là các điểm gán đặc điểm địa phương hậu trường. lĩnh vực trí tuệ nhân tạo có thể giải thích (XAI) đang nhanh chóng tạo ra các phương pháp khác nhau của điều này. Mỗi phương pháp này có một công thức và giải thích khác nhau về sản lượng thô của nó, nhưng nói chung tất cả chúng đều thực hiện nhiệm vụ tương tự là gán hành vi của một mô hình cho các tính năng đầu vào của nó.Khi được giao nhiệm vụ giải thích sản lượng của một mô hình với một đầu vào tương ứng (và khả năng truy cập vào trọng lượng mô hình), các phương pháp này trả lời câu hỏi, “Mỗi tính năng đầu vào cá nhân có ảnh hưởng như thế nào trong việc tính toán đầu ra của mô hình?” Các nhà khoa học dữ liệu đang sử dụng các giải thích hậu trường với tỷ lệ ngày càng tăng - các phương pháp phổ biến như LIME và SHAP đã có hơn 350 nghìn và 6 triệu lượt tải xuống các gói Python của họ trong 30 ngày qua, tương ứng [23]. 1.2 Vấn đề bất đồng Sự bùng nổ của các phương pháp giải thích khác nhau dẫn đến Krishna et al. [15] để quan sát rằng khi các mạng thần kinh được đào tạo một cách tự nhiên, tức là chỉ cho độ chính xác, thường các nhà giải thích hậu trường không đồng ý về mức độ các tính năng khác nhau ảnh hưởng đến kết quả của một mô hình. Có một cuộc thảo luận quan trọng xung quanh các nhà giải thích địa phương và giá trị thực sự của họ trong việc đạt được mục tiêu chung về tính minh bạch và tính giải thích của mô hình [xem, ví dụ, 7, 18, 29]; thực sự, có những cuộc thảo luận đang diễn ra về hiệu quả của các phương pháp giải thích hiện nay trong các lĩnh vực cụ thể [cho y tế xem, ví dụ, 8]. ước tính tầm quan trọng của tính năng có thể không làm cho một mô hình minh bạch hơn khi mô hình được giải thích là quá phức tạp để cho phép dễ dàng gán kết quả cho sự đóng góp của từng tính năng cá nhân. Trong bài báo này, chúng tôi không đưa ra bất kỳ phán xét quy định nào liên quan đến cuộc tranh luận này, mà thay vào đó xem "giải thích" là các tín hiệu được sử dụng cùng với các phương pháp xử lý lỗi, xác nhận và xác minh khác trong đường ống dẫn hoạt động học máy (MLOps). cụ thể hơn, chúng tôi áp dụng cách tiếp cận thực tế sau: làm cho số lượng bất đồng giải thích trở thành một thông số mô hình có thể kiểm soát thay vì một điểm thất vọng khiến các bên liên quan phải tránh xa. 1.3 Khuyến khích sự đồng thuận giải thích Sự đồng thuận giữa hai nhà giải thích không đòi hỏi các nhà giải thích phải đưa ra cùng một điểm chính xác cho mỗi tính năng. Thay vào đó, sự đồng thuận giữa các nhà giải thích có nghĩa là bất kỳ sự bất đồng nào họ thể hiện đều có thể được hòa giải. Các nhà khoa học dữ liệu và các học viên học máy nói trong một cuộc khảo sát rằng các lời giải thích có sự đồng thuận cơ bản nếu họ đáp ứng các số liệu đồng thuận phù hợp với trực giác của con người, cung cấp một cách định lượng để đánh giá mức độ đồng thuận đang đạt được [15]. Khi đối mặt với sự bất đồng giữa các nhà giải thích, một lựa chọn phải được thực hiện về việc phải làm gì tiếp theo - nếu một khoảnh khắc giao thoa tùy tiện như vậy có thể tránh được thông qua đào tạo mô hình chuyên môn, chúng tôi tin rằng nó sẽ là một bổ sung có giá trị cho bộ công cụ của Chúng tôi đề xuất, như là đóng góp chính của chúng tôi, một thói quen đào tạo để giúp giảm thiểu thách thức do bất đồng giải thích hậu trường. Đạt được sự đồng thuận tốt hơn giữa các lời giải thích không cung cấp nhiều khả năng giải thích hơn cho một mô hình theo bản chất. Nhưng, nó có thể cung cấp nhiều sự tin tưởng hơn cho các lời giải thích nếu các cách tiếp cận khác nhau để phân loại đồng ý thường xuyên hơn về những đặc điểm nào là quan trọng. Điều này mang lại cho sự đồng thuận lợi thực tế của việc hoạt động như một kiểm tra tinh thần - nếu sự đồng thuận được quan sát, sự lựa chọn của người giải thích mà một học viên sử dụng ít có hậu quả hơn so với tác động của các bên liên quan phía sau, làm cho sự giải thích của họ ít chủ quan hơn. 2 Công việc liên quan Công việc của chúng tôi tập trung vào các công cụ giải thích hậu trường. Một số nhà giải thích hậu trường, như LIME [24] và SHAP [21], là các mô hình proxy được đào tạo trên một mô hình học máy cơ bản với mục đích duy nhất là "giải thích" mô hình cơ bản đó. Những nhà giải thích này chỉ dựa vào các đầu vào và đầu ra của mô hình để xác định các tính năng nổi bật. Các nhà giải thích khác, chẳng hạn như Vanilla Gradients (Grad) [32], Gradient Times Input (Grad*Input) [30], Integrated Gradients (IntGrad) [37] và SmoothGrad [34], không sử dụng mô hình proxy mà thay vào đó tính toán gradients của mô hình liên quan đến các tính năng đầu vào để xác định các tính năng quan trọng.[1] Mỗi người trong số những nhà giải Chúng tôi xây dựng trực tiếp trên công việc trước đó mà xác định và khám phá vấn đề bất đồng [15]. bất đồng ở đây đề cập đến sự khác biệt trong điểm quan trọng tính năng giữa hai phương pháp gán tính năng, nhưng có thể được định lượng một số cách khác nhau như được mô tả bởi các số liệu Krishna et al. [15] xác định và sử dụng. Phương pháp chúng tôi đề xuất trong bài báo này liên quan đến công việc trước đó đào tạo các mô hình với những hạn chế về giải thích thông qua hình phạt về sự bất đồng giữa điểm phân bổ tính năng và điểm thực tế thực tế được làm bằng tay [26, 27, 41]. Ngoài ra, công việc đã được thực hiện để khai thác sự bất đồng giữa các giải thích hậu trường khác nhau để xây dựng điểm phân bổ tính năng mới cải thiện các chỉ số như ổn định và thỏa thuận xếp hạng song song [2, 16, 25]. 
 
 Tài liệu này có sẵn trên archiv dưới giấy phép CC BY 4.0 DEED. Bài báo này là theo giấy phép CC BY 4.0 DEED. available on arxiv Có sẵn trong Archive

Part of HackerNoon's growing list of open-source research papers, promoting free access to academic material.

Read My Stories

No technological innovation comes without sacrifice. The pendulum will swing back to the people! Wanna' be 501c3.

Reckoning's Blog

Nghe bài viết này bằng Tiếng Anh, đọc bởi robot thông minh của HackerNoon

Nghiên cứu AI mới giải quyết vấn đề minh bạch trong các mô hình hộp đen

About Author

BÌNH LUẬN

chuyên mục

BÀI VIẾT NÀY CŨNG CÓ MẶT TẠI

Related Stories

72 Stories To Learn About Adam Smith

179 Stories To Learn About Reading

223 Stories To Learn About Science

85 Stories To Learn About Productivity Hacks

72 Stories To Learn About Adam Smith

179 Stories To Learn About Reading

223 Stories To Learn About Science

85 Stories To Learn About Productivity Hacks

Light-Mode

Classic

Newspaper

Minty

Dark-Mode

Neon Noir

Minty

HN StartUps