AI mới của Google biến các mô hình phức tạp thành mã đơn giản, có thể chỉnh sửa

Tác giả : Walker Ravina, walkerravina@google.com (Google) Ethan Sterling, esterling@google.com (Google) Olexiy Oryeshko, olexiy@google.com (Google) Nathan Bell, nathanbell@google.com (Google) Honglei Zhuang, hlz@google.com (Google) Xuanhui Wang, xuanhui@google.com (Google) Yonghui Wu, yonghui@google.com (Google) Alexander Grushetsky, grushetsky@google.com (Google) Tác giả : Walker Ravina, walkerravina@google.com (Google) Đạo diễn Ethan Sterling, esterling@google.com (Google) Olexiy Oryeshko, olexiy@google.com (Google) Nhà sản xuất: Nathan Bell, nathanbell@google.com (Google) Honglei Zhuang, hlz@google.com (Google) Nguyễn Thị Hương, xuanhui@google.com (Google) Yonghui Wu, yonghui@google.com (Google) Alexander Grushetsky, grushetsky@google.com (Google) Abstract Mục tiêu của mô hình chưng cất là trung thành chuyển kiến thức về mô hình giáo viên sang một mô hình nhanh hơn, phổ biến hơn, có thể giải thích hơn hoặc có các đặc điểm mong muốn khác. Khả năng đọc của con người là một tiêu chuẩn quan trọng và mong muốn cho khả năng giải thích mô hình học máy. Mô hình có thể đọc được là minh bạch và có thể được xem xét, thao tác và triển khai như mã nguồn truyền thống. Kết quả là, các mô hình như vậy có thể được cải thiện bên ngoài bối cảnh học máy và chỉnh sửa bằng tay nếu muốn. Do việc đào tạo trực tiếp các mô hình như vậy là khó khăn, chúng tôi đề xuất đào tạo các mô hình có thể giải thích bằng các phương pháp thông thường, và sau đó chưng cất chúng thành mã có thể đọc được của con người. Phương pháp chưng cất được đề xuất gần gũi các chức năng số duy nhất của một mô hình với các đường cong tuyến tính theo một cách cục bộ. Các đại diện mô hình đường cong kết quả là chính xác, ngắn gọn, có thể đọc được bởi con người và được điều chỉnh tốt bởi xây dựng. Chúng tôi mô tả một thuật toán chưng cất đường cong từng phần tạo ra kết quả chất lượng cao một cách hiệu quả và đáng tin cậy trong một loạt các trường hợp sử dụng. Chúng tôi chứng minh hiệu quả của kỹ thuật chưng cất tổng thể và thuật toán chưng cất đường cong của chúng tôi bằng cách sử dụng bốn bộ dữ liệu trên các nhiệm vụ phân loại, hồi quy và xếp hạng. CCS khái niệm → . Computing methodologies Machine learning approaches Từ khóa Mô hình chưng cất; có thể đọc được bởi con người; đường cong từng mảnh 1 Giới thiệu Các mô hình có thể giải thích là rất quan trọng đối với các kịch bản ra quyết định cao [ - Phân tích các vấn đề liên quan đến việc thực hiện các biện pháp điều trị, giải quyết các vấn đề liên quan đến việc thực hiện các biện pháp điều trị, giải quyết các vấn đề liên quan đến điều trị ( Các đóng góp cá nhân phải có thể kiểm tra và hiểu được, để đảm bảo tính minh bạch, trách nhiệm và công bằng của kết quả. 21 e.g Để đạt được khả năng giải thích nội tại, các hàm đơn biến được sử dụng rộng rãi trong các mô hình có thể giải thích. ], mô hình là tổng của các hàm hình dạng thống nhất, 11 nơi xi 's là n tính năng và fi 's là các chức năng hình dạng. Một mô hình như vậy là đơn giản nhưng thường ít chính xác hơn một mô hình với tương tác tính năng. Gần đây, Lou Cái [ ] cho thấy rằng việc thêm một số lượng giới hạn các tương tác tính năng song song cho phép các mô hình phụ gia theo phong cách GAM để nắm bắt một phần đáng kể độ chính xác của một mô hình tương tác đầy đủ. và al 18 hoặc các sản phẩm của các nhóm đặc điểm, nơi độ lớn của một hàm (i.e. fi ) được điều chỉnh bởi một hàm (i.e. gi hoặc gi,j) của một hàm "khung cảnh" khác (i.e.ci ) [32]. Trong các trường hợp khác, sự tương tác giữa các hàm được xấp xỉ đầy đủ bằng các mô hình bổ sung của các hàm duy nhất được niêm phong trong các hàm duy nhất, nơi chức năng bên ngoài gi nắm bắt hành vi phi tuyến tính [7]. Thật vậy, lý thuyết đại diện Kolmogorov-Arnold [16, 27] đảm bảo rằng mọi chức năng đa biến liên tục của n đầu vào có thể được đại diện như tổng của 2n các thuật ngữ như vậy, Trong thực tế, một hàm bên ngoài duy nhất thường là đủ, tạo ra một mô hình có thể giải thích. Trong các mô hình GAM cổ điển, splines được sử dụng làm chức năng hình dạng [ Một chức năng hình dạng được sử dụng phổ biến khác là chức năng mảnh-linear [ Các biểu tượng này chứa một số lượng nhỏ các biến ( . node) và do đó là ngắn gọn và dễ đọc bởi con người. Tuy nhiên, việc tối ưu hóa trực tiếp các đại diện như vậy thường tạo ra các mô hình ít chính xác hơn so với các đại diện mô hình thay thế. . [ ] cho thấy rằng học spline GAMs là ít chính xác hơn so với học bagged tăng cường quyết định rừng GAMs. thí nghiệm của chúng tôi cho thấy kết quả tương tự cho trực tiếp tối ưu hóa GAMs bao gồm các đường cong phân đoạn-linear bằng cách sử dụng các phương pháp Stochastic Gradient Descent (SGD). Nói rộng rãi, mô hình đại diện sử dụng quyết định rừng GAMs có lợi thế trong quá trình tối ưu hóa mô hình, nhưng các mô hình kết quả không phải là con người đọc được. Đây là trường hợp ngay cả khi có một mô hình đơn giản hơn với một hình thức ngắn gọn, con người đọc được cung cấp độ chính xác tương đương. 11 30 e.g và al 17 Lấy cảm hứng từ công việc chưng cất mô hình trong đó rừng quyết định tương đối nhỏ hoặc mạng lưới thần kinh có thể được chưng cất từ các tập hợp lớn hơn nhiều, nhưng không được đào tạo trực tiếp từ dữ liệu, để phù hợp với độ chính xác của các mô hình phức tạp. , ], chúng tôi đề xuất chưng cất các mô hình có thể giải thích thành các đại diện có thể đọc được trong một quá trình riêng biệt sau khi tối ưu hóa mô hình. Điều này giải nén đại diện mô hình ban đầu, học được từ đại diện mô hình cuối cùng, được công bố. Ví dụ, phương pháp chưng cất được đề xuất có thể được áp dụng cho các mô hình bổ sung được đào tạo bằng cách sử dụng cây quyết định tăng cường túi [ ], cũng như các mạng thần kinh bổ sung 5 12 17 [ 2 ] 32 . Trong bài báo này, chúng tôi mô tả một kỹ thuật để chưng cất các mô hình bao gồm các thành phần thống nhất thành các đại diện có thể đọc được của con người, đặc biệt là các đường cong tuyến tính từng phần được mô tả trong phần Sản lượng của kỹ thuật chưng cất của chúng tôi được minh họa trong Danh sách và Figure Hiển thị các đại diện văn bản và đồ họa của các đường cong tuyến tính được thu được bằng cách áp dụng cách tiếp cận của chúng tôi cho một rừng quyết định GAM được đào tạo trên bộ dữ liệu COMPAS (được mô tả trong phần Mô hình chưng cất là một đại diện ngắn gọn của mô hình GAM rừng quyết định và được chuyển đổi thành mã nguồn có thể đọc được của con người. Từ đây, chúng ta sẽ sử dụng "đường" để đề cập đến các đường cong tuyến tính, "đường mô hình" để đề cập đến các mô hình nơi mỗi thành phần là một đường cong, và "mã" để đề cập đến các đại diện văn bản của các mô hình đường cong hoặc đường cong. 2.2 Hành động 1 1 , 2.1 Đánh giá The rest of this paper is structured as follows. After presenting the preliminaries in Section chúng tôi làm rõ về những lợi ích của việc sử dụng các mô hình đường cong trong phần Sau đó chúng tôi mô tả quá trình chưng cất cục bộ trong phần and the piecewise-linear approximation algorithm, sometimes referred to as segmented regression [ ], for creating curve models in Section Lastly, we present experimental results on for datasets: COMPAS, FICO, MSLR-WEB30K, and CWS in Section và kết thúc bài báo trong phần 2 , 3. 4 30 5. 6 7. 2 Dự đoán Trong suốt bài báo, chúng tôi sẽ sử dụng các tập dữ liệu được sử dụng trong bài báo này làm ví dụ cụ thể để giải thích các phương pháp của chúng tôi. do đó, chúng tôi lần đầu tiên mô tả chúng trong phần này. 2.1 Bộ dữ liệu Chúng tôi đã sử dụng bốn tập dữ liệu sau đây để đại diện cho các cài đặt khác nhau: phân loại, hồi quy và xếp hạng. Bộ dữ liệu COMPAS1 là kết quả của một cuộc điều tra của ProPublica [4] về sự thiên vị chủng tộc có thể xảy ra của điểm số mô hình COMPAS độc quyền cho các bị cáo ở quận Broward, Florida. Bộ dữ liệu đã được nghiên cứu rộng rãi trong bối cảnh thiên vị, công bằng và khả năng giải thích [8, 9, 14, 23]. Nhãn là nhị phân và chỉ ra liệu tái phát xảy ra cho một cá nhân trong một khoảng thời gian. Chúng tôi sử dụng khu vực dưới đường cong đặc điểm hoạt động của người nhận (AUC-ROC) để đo lường độ chính xác của phân loại. COMPAS có 6 tính năng và bốn trong số đó được sử dụng làm ví dụ trong bài báo này: tuổi tác, priors_count, độ dài_of_stay và c_charge_degree. Bộ dữ liệu FICO [1] bao gồm các ứng dụng tín dụng ẩn danh thế giới thực cùng với điểm số rủi ro. Nhãn là điểm số rủi ro cho một cá nhân. Chúng tôi sử dụng root mean square error (RMSE) để đo lường độ chính xác hồi quy. FICO có 24 fea-tures và chúng tôi sử dụng hai tính năng làm ví dụ trong bài báo của chúng tôi: MSinceMostRecentDelq, Months Since Most Recent Delinquency; PercentTradesWBalance, Percent Trades with Balance. Bộ dữ liệu MSLR-WEB30K [19] là một tập hợp dữ liệu chuẩn học tập được sử dụng rộng rãi. Nhãn là các phán đoán liên quan trên tài liệu. Chúng tôi sử dụng lợi nhuận tích lũy giảm giá chuẩn hóa ở k = 5 (NDCG@5) để đo độ chính xác của người xếp hạng. MSLR-WEB30K lớn hơn đáng kể về số lượng các tính năng (136) và số lượng các ví dụ đào tạo (~2.000.000 mỗi lần đúc xác nhận chéo). Chúng tôi sử dụng nó để so sánh thuật toán tiếp cận đường cong của chúng tôi với pwlf [13], một lựa chọn thay thế có sẵn công khai, dựa trên độ chính xác, độ bền và hiệu quả. Chúng tôi sử dụng hai tính năng làm ví dụ trong bài báo của chúng tôi: feature_0011, Body length feature;_0128, Inlink Bộ dữ liệu Chrome Web Store (CWS) là một bộ dữ liệu riêng tư và ẩn danh có nguồn gốc từ nhật ký Chrome Web Store. Mỗi truy vấn tương ứng với chuyến thăm Chrome Web Store. Các mục trong mỗi truy vấn là những mục được hiển thị cho người dùng. Các nhãn tương ứng với các hành động của người dùng như nhấp, cài đặt, đảm bảo độ chính xác của người xếp hạng. Một bộ dữ liệu tương tự nhưng khác biệt từ Chrome Web Store đã được nghiên cứu trước đó bởi Zhaung et al. [32]. Không giống như trong công việc trước đó, trong trường hợp này chúng tôi không sử dụng các tính năng "khung cảnh" cấp truy vấn, thay vào đó chỉ sử dụng 14 tính năng cấp mục. Các truy vấn cũng khác nhau. Trong mỗi trường hợp, chúng tôi chưng cất một GAM rừng quyết định và đánh giá độ chính xác của các mô hình đường cong chưng cất. Trong đó những lợi ích của các mô hình đường cong, được thảo luận dưới đây, là đặc biệt hấp dẫn. FICO, MSLR-WEB30K, và CWS đã được nghiên cứu trước đây trong bối cảnh giải thích Hơn nữa, kết quả từ MSLR-WEB30K cho thấy rằng độ chính xác của phương pháp này không giới hạn ở tập dữ liệu nhỏ. 21 [ 2 ] 7 , 18 , 32 . 2.2 Đường cong tuyến tính Một đường cong tuyến tính ( ) được xác định bởi một danh sách các điểm kiểm soát S = [(xk , yk )]K k = 1 qua đó đường cong phải đi qua. Giữa các điểm kiểm soát, giá trị y đầu ra được xác định bằng cách thực hiện sự can thiệp tuyến tính giữa các điểm kiểm soát lân cận. Ngoài các điểm kiểm soát bên trái hoặc bên phải, giá trị đầu ra được giới hạn đến giá trị yk của điểm kiểm soát lân cận. Hơn nữa, giả sử xk 's được sắp xếp, tức là xk < xk +1, định nghĩa của một đường cong tuyến tính từng phần có thể được mô tả như sau: PWLCurve Trong hầu hết các trường hợp quan tâm, 5 hoặc 6 điểm kiểm soát, xác định 4 hoặc 5 phân đoạn bên trong, là đủ để nắm bắt hành vi mong muốn. Chúng tôi cho phép một biến đổi x tùy chọn, được chỉ định với đối số fx, để phù hợp với các đường cong với dữ liệu với quy mô khác nhau. Khi một biến đổi x hiện diện, nó được áp dụng cho giá trị đầu vào và giá trị x của tất cả các điểm kiểm soát, và sau đó interpolation tuyến tính được thực hiện trong không gian được biến đổi. Chúng tôi hỗ trợ các biến đổi danh tính (mặc định), log, log1p và symlog1p. Ở đây symlog1p được xác định là sgn(x) * log1p(abs(x)) và phù hợp với các tính năng rất biến động có cả giá trị tích cực và tiêu cực. Các chức năng phân loại đơn được đại diện bởi En 3 Background & động lực Các mô hình có thể giải thích rất quan trọng đối với các quyết định về cổ phần cao [21] và cung cấp nhiều lợi thế so với các cấu trúc mô hình phức tạp hơn [ , ]. Trong phần này, chúng tôi giải thích cách chưng cất các mod-els có thể diễn giải thành các mô hình đường cong củng cố những lợi ích này và giải quyết một loạt các thách thức kỹ thuật trong thế giới thực. . 6 10 làm giảm một vấn đề học máy mới thành một vấn đề kỹ thuật phần mềm đã được thiết lập với rất nhiều giải pháp hiện có 3.1 Tăng tính minh bạch Một mô hình là minh bạch nếu nó cung cấp một đại diện văn bản hoặc đồ họa cho phép hành vi của nó được hiểu một cách toàn diện. Một cách mà phương pháp được đề xuất cung cấp sự minh bạch lớn hơn là bằng cách đơn giản hóa các mô tả đồ họa của một mô hình trong khi giữ lại các đặc điểm thiết yếu của nó. Trong khi tuyên bố này là nghiêm túc đúng, nó là gây hiểu lầm nói chung. Trừ khi được đưa ra hướng dẫn cụ thể, con người sẽ tự nhiên giảm thiểu một số chi tiết tinh tế nhất định của cốt truyện khi phát triển một sự hiểu biết về mô hình. Bằng cách chưng cất các mô hình có thể diễn giải thành một đại diện ngắn gọn, chúng tôi loại bỏ các char-acteristics bên ngoài và giảm nỗ lực tinh thần cần thiết để hiểu mô hình. Ví dụ, nó không phải là ngay lập tức rõ ràng những gì sự hiểu biết của một cá nhân nên bắt nguồn từ các cốt truyện hình dạng của feature_0011 (độ dài dòng cơ thể), và feature_0128 (số liên kết) tính năng trong mô hình MSLR-WEB30K ban đầu học, được hiển thị trong Hình Thật vậy, các cá nhân khác nhau có thể rút ra sự hiểu biết khác nhau về chất lượng từ các mô tả đồ họa này. tuy nhiên, với kiến thức bổ sung rằng mô hình đường cong chưng cất được thể hiện bởi các đường cong phủ trên hình có độ chính xác gần như giống hệt nhau, một người quan sát có thể đưa ra kết luận mạnh mẽ hơn về các đặc điểm thiết yếu của mô hình. Khả năng giải thích có thể được tăng thêm bằng cách áp đặt những hạn chế về sự đơn điệu. Mô tả chính xác 2. 2 6.4 Hành động Rõ ràng khi chưng cất tạo ra một mô hình đơn giản hơn với độ chính xác tương đương, chúng ta sẽ nói rằng quá trình chưng cất đã thành công. Tuy nhiên, trường hợp chưng cất tạo ra một mô hình với độ chính xác thấp hơn có nghĩa là điều tra thêm bởi vì "thất bại" rõ ràng thường có thể được quy cho các đặc điểm thiết yếu của mô hình giáo viên không được chuyển giao thành công cho học sinh. Chúng tôi xem xét một ví dụ đại diện của hiện tượng này trong phần Mặc dù một cuộc thảo luận đầy đủ về nguyên tắc này nằm ngoài phạm vi của bài báo này, chúng tôi lưu ý rằng ý tưởng này có thể được xem là một sự mở rộng của việc sử dụng các ràng buộc cấu trúc để xác định các mô hình có thể giải thích được, ngay bây giờ được áp dụng cho cấu trúc các chức năng cá nhân trong mô hình. . đường cong với một số lượng nhỏ các điểm kiểm soát cắt) tính minh bạch của nó sẽ bị đặt câu hỏi. vì chúng vi phạm một khái niệm được quy định về khả năng diễn giải của con người 6.2. e.g 3.2 Quy định xây dựng Phương pháp đề xuất cũng có thể được xem là một quá trình điều chỉnh hậu trường hoàn toàn tương thích và bổ sung cho các kỹ thuật điều chỉnh dựa trên tối ưu hóa ( L1/L2 trừng phạt hoặc hạn chế đơn điệu). Trong bối cảnh bình thường hóa, sự nhấn mạnh của chúng tôi về ngắn gọn là phù hợp với nguyên tắc độ dài mô tả tối thiểu [ ] cho lựa chọn mô hình. Ustun và Rudin [ ] applied similar reasoning to motivate linear models with small, integer-valued weights. The constrained description length of curves provides limited capacity for capturing idiosyncratic behav-ior. As a result, curve distillation successfully removes aberrations from teacher model functions. This regularization effect can be seen in Figure và Figure The fewer segments the greater the effect. To find the most concise curve model we can repeatedly apply the proposed method with decreasing number of control points. Natu-rally, the optimality of this approach is subject to the limitations of our localized distillation methodology (see Section và thuật toán tiếp cận đường cong (xem phần Mặc dù rất khó để so sánh trực tiếp các mô hình với các đại diện chức năng khác nhau, so sánh chiều dài và khả năng đọc của mã tương ứng của chúng là hướng dẫn. e.g 28 24 1 2. 4) Của 5 ) Một lợi thế thực tế của quy định dựa trên đường cong là sự thường xuyên được áp dụng bởi xây dựng và sự phức tạp của các đường cong riêng lẻ dễ dàng nhìn thấy và có thể định lượng. Do đó, các tổ chức áp dụng các mô hình đường cong có thể thiết lập các hướng dẫn khách quan về sự phức tạp của mô hình mà các nhà phát triển có thể dự đoán khi nộp các ứng cử viên mô hình để phê duyệt. Các hướng dẫn như vậy có thể chỉ định số lượng tối đa các phân đoạn đường cong, số lượng tối đa các chữ số có ý nghĩa cho mỗi điểm kiểm soát đường cong, hoặc sự đơn điệu của đường cong. Tương tự như việc sử dụng các số không có gì trong mã hóa. Các mô hình đường cong cho phép các nhà phát triển giải quyết các nghi ngờ về các điểm yếu tiềm năng và chứng minh một cách xây dựng tính bền vững của một ứng cử viên mô hình nhất định.Nói chung, việc chuẩn hóa sự phát triển xung quanh các mô hình đường cong là một cách đơn giản cho các tổ chức thực thi hệ thống các thực tiễn tốt nhất, bảo vệ chống lại những sai lầm và bẫy phổ biến, và nhanh chóng xác minh và phê duyệt mô hình.Tính chất dễ đọc, dễ tiếp cận của các mô hình đường cong cho phép các thành viên tổ chức vượt ra ngoài kỹ sư ( . giám đốc điều hành, quản lý sản phẩm, v.v.) để tham gia vào quá trình phê duyệt này. 29 e.g 3.3 Có thể đọc, có thể chỉnh sửa mã Curve model code can be read, reviewed, merged, and versioned like conventional source code. An example model for the COMPAS dataset is shown in Listing Một người có thể hiểu làm thế nào một mô hình đường cong sẽ cư xử trong điều kiện mới hoặc cực đoan bằng cách “đánh giá” một cách tinh thần mô hình theo các kịch bản “nếu có” giả định mà không cần các công cụ bổ sung. Áp dụng các mô hình cho một quá trình xem xét mã nguồn truyền thống tạo điều kiện cho việc xem xét nghiêm ngặt hơn về các đặc điểm của mô hình và trách nhiệm lớn hơn có thể với các mô hình không thể đọc được. Thật vậy, tiến hành xem xét mô hình thông qua xem xét mã nguồn đảm bảo rằng bản thân mô hình ứng cử viên - không phải là một mô tả riêng biệt, có khả năng không nhất quán hoặc hiện vật của mô hình hoặc cách nó được đào tạo - là đối tượng của việc xem xét. Trong trường hợp hành vi mô hình không mong muốn được phát hiện, mã của mô hình có thể được chỉnh sửa trực tiếp để Cái [ ] thảo luận làm thế nào một cách tiếp cận đào tạo như vậy với các tính năng thiên vị và sau đó loại bỏ chúng có thể có khả năng tốt hơn so với chỉ đào tạo mà không có các tính năng thiên vị. cách tiếp cận này có thể ngăn chặn mô hình từ khai thác thiên vị thông qua các tính năng khác có liên quan đến những tính năng thiên vị. 1. và al 2 Mô hình minh bạch là điều cần thiết trong bối cảnh quyết định cổ phần cao [ ] phát sinh trong tư pháp hình sự, tài chính, chăm sóc sức khỏe, và các lĩnh vực khác. Cung cấp nguồn đầy đủ của mô hình trong mã đơn giản, di động, có thể đọc được bởi con người làm cho các mô hình minh bạch. So với các mô hình có thể đọc được bởi con người được sản xuất bởi CORELS [ ], được thể hiện trong ngôn ngữ được hiểu rộng rãi, các mô hình đường cong hy sinh khả năng tiếp cận cho sự biểu cảm lớn hơn và ứng dụng chung. 21 3 3.4 Phát triển mô hình hợp tác Curve distillation is compatible with any algorithm or modeling technique that results in univariate functions. In the experiments section we apply the proposed technique to decision forest GAMs on several datasets. Previous work [ ] áp dụng kỹ thuật được đề xuất cho các GAM được học thông qua các mạng thần kinh, cũng như các mạng thần kinh tương tự với các tương tác hạn chế thông qua các cặp nhân. Tổ chức phát triển hợp tác xung quanh các mô hình đường cong cho phép các kỹ sư áp dụng nhiều công cụ, kỹ thuật hoặc nền tảng khác nhau để tối ưu hóa các thành phần của một mô hình (có khả năng quy mô lớn). Các kỹ sư được tự do lựa chọn một cách tiếp cận mô hình hóa mà tối đa hóa năng suất của họ, tương tự như cách các kỹ sư sử dụng nhiều IDEs, định dạng mã, hoặc linter để hợp tác phát triển phần mềm. 32 3.5 Việc triển khai trực tiếp Các mô hình đường cong được đánh giá nhanh chóng và dễ dàng triển khai. Vì đánh giá đòi hỏi tính toán tối thiểu - chỉ có một số lượng nhỏ các hoạt động điểm nổi mỗi đường cong - các mô hình đường cong rất thích hợp cho các ứng dụng quan trọng về hiệu suất. đường cong là một đại diện di động, không phải nền tảng có thể được hỗ trợ tự nhiên trong một loạt các ngôn ngữ hoặc hệ thống với ít nỗ lực. Hiển thị một triển khai C++ của một mô hình COMPAS với 2 phân đoạn. Nói chung, các mô hình đường cong dễ dàng triển khai vì chúng cung cấp nhiều tùy chọn tích hợp. Các đường cong có thể được nhúng vào các tệp cấu hình, được truyền qua các thông số CGI, được nhúng thủ công vào các ứng dụng phức tạp theo cách mảnh ghép, được dịch hệ thống thành một đại diện mục tiêu, hoặc được đánh giá bởi các hệ thống chạy thời gian hiện có với một vài phần mở rộng gia tăng. 2 4 Distillation địa phương Quá trình chưng cất của chúng tôi có hai đầu vào: một mô hình giáo viên chứa một hoặc nhiều chức năng univariate, và một tập dữ liệu đại diện (thường là dữ liệu đào tạo). phương pháp của chúng tôi khác với các kỹ thuật chưng cất thông thường vì chúng tôi (1) chưng cất từng chức năng univariate riêng biệt và (2) tối ưu hóa cho lỗi vuông trung bình (MSE) khi xấp xỉ từng chức năng univariate. cụ thể, mỗi chức năng univariate trong mô hình giáo viên được đánh giá trên tập dữ liệu để tạo ra các cặp ví dụ đại diện (x, y). Đối với các tính năng phân biệt phân loại, chúng tôi tạo ra một bản đồ nơi mỗi x duy nhất được lập bản đồ đến y trung bình. sử dụng thuật toán tiếp cận được mô tả trong phần Nếu mô hình giáo viên chứa các hàm univariate được niêm phong trong các hàm univariate khác, chúng tôi thay thế các hàm nguồn theo cách từ dưới lên trên. PWLCurve 5. Mô hình cuối cùng được xây dựng bằng cách thay thế mỗi hàm univariate ban đầu bằng Sự gần gũi PWLCurve Thông thường, chưng cất mô hình liên quan đến việc tối ưu hóa toàn cầu bằng cách sử dụng cùng một (hoặc ít nhất là tương tự) mục tiêu với việc đào tạo mô hình giáo viên ban đầu. Mục tiêu này có thể khác với mục tiêu MSE theo chiều hướng điểm. Ví dụ, mục tiêu xếp hạng thường có định nghĩa theo chiều hướng cặp. Tại sao sau đó chúng ta ủng hộ tối ưu hóa cục bộ bằng cách sử dụng mục tiêu MSE trong mọi trường hợp? Câu trả lời chính là, trong bối cảnh các mô hình có thể giải thích, có giá trị đáng kể trong việc duy trì sự tương ứng mạnh mẽ giữa từng chức năng nguồn và chức năng mục tiêu. Đặc biệt, điều này cho phép chúng ta hình dung từng chức năng hình dạng trong mô hình giáo viên chống lại sự thay thế đường cong tương ứng của nó. Ngoài ra, chúng ta có thể gán lỗi chưng cất - chúng ta có thể ngay lập tức nói rằng chức năng hình dạng của x1 không được gần bằng một đường cong. Trong phần thí nghiệm chúng tôi cho thấy rằng hành vi có ý nghĩa của gần như tất cả các chức năng hình dạng có thể được chụp chính xác bằng đường cong với ba đến năm phân đoạn. 5 Trong khi một cách tiếp cận tối ưu hóa toàn cầu ( ., tối ưu hóa các thông số của tất cả các đường cong trong mô hình mục tiêu cùng một lúc) bằng cách sử dụng một số liệu cụ thể về vấn đề có thể tạo ra một kết quả chính xác hơn, nó đắt hơn về mặt tính toán và sẽ thiếu tương ứng một-một với mô hình giáo viên, làm cho thất bại chưng cất khó khăn hơn để chẩn đoán. hơn nữa, nếu độ chính xác cao hơn là mong muốn, kết quả của quá trình chưng cất được đề xuất có thể được sử dụng để bắt đầu một tối ưu hóa toàn cầu của các thông số của mô hình đường cong. I. E 5 Cách tiếp cận đường cong tuyến tính Với một hàm số thống nhất f (x) → y, mục tiêu của chúng tôi là tạo ra một c (x) → y mà trung thực tiếp cận f (x) bằng cách giảm thiểu MSE (c(x), f (x)) trên dữ liệu mẫu. rõ ràng, độ chính xác của phương pháp chưng cất tổng thể phụ thuộc rất nhiều vào độ chính xác của các cách tiếp cận đường cong cá nhân - . bao nhiêu mất mát đo được thực hiện khi mỗi c (x) được thay thế bằng f (x) tương ứng trong mô hình được đào tạo. PWLCurve I. E Hơn nữa, sự thành công thực tế của phương pháp này cũng cho- pends on the robustness and efficiency of the approximation algorithm. To enable systematic use of curve distillation in model training pipelines, the approximation algorithm must run with minimal configuration. Complex hyperparameters pose a significant barrier to entry. We have designed , thuật toán tiếp cận tuyến tính từng phần của chúng tôi, vì vậy trong thực tế người dùng chỉ cần xem xét và (Monochromatic) parameter. trong khi = 5 phân đoạn và =False là đủ để có được độ chính xác cao (như được chứng minh bởi các thí nghiệm của chúng tôi), nó là mong muốn để điều tra xem liệu mô hình có thể được đơn giản hóa hơn nữa với ít phân đoạn hoặc với các hạn chế đơn điệu. . ít hơn 1 giây mỗi hàm) cho phép phân tích tương tác thông qua máy tính xách tay Jupyter [ ] hoặc các công cụ khác. những cân nhắc thực tế này đã thông báo cho các quyết định khác nhau trong việc thiết kế Đặc biệt, chúng tôi thích một thuật toán nhanh chóng và đáng tin cậy mang lại kết quả chính xác cao với cấu hình tối thiểu hơn là một thuật toán hy sinh bất kỳ cân nhắc thực tế nào để đạt được sự chính xác hạn chế. pwlfit num_segments mono num_segments mono e.g 15 pwlfit Trong phần này, chúng tôi sẽ mô tả các đặc điểm nổi bật và đặc điểm đáng chú ý của Chúng tôi mời các độc giả quan tâm tham khảo mã nguồn có sẵn công khai của [Hiện tại ], để biết thêm chi tiết. pwlfit pwlfit 22 5.1 Thuật toán Given a list of (𝑥, 𝑦, 𝑤𝑒𝑖𝑔ℎ𝑡) points and a desired number of segments 𝑘, we search for a để giảm thiểu lỗi vuông trung bình, MSE. với k phân đoạn được đặc trưng bởi các điểm kiểm soát k + 1 của nó – một tập hợp các nút x và các nút y tương ứng của chúng. Chỉ đưa ra các nút x, chúng ta có thể giải quyết một biểu thức hình vuông tối thiểu tuyến tính cho các nút y tối ưu và lỗi kết quả. Vì chúng ta không biết các nút x chính xác, chúng ta tìm kiếm thông qua không gian của các nút x có thể và giải quyết biểu thức hình vuông tối thiểu ở mỗi bước để tính toán lỗi.2 PWLCurve PWLCurve Đối với hiệu suất, chúng tôi ngẫu nhiên lấy mẫu các tập dữ liệu lớn xuống khoảng một triệu điểm trước khi kết hợp. Chúng tôi lấy mẫu xuống để giảm chi phí sắp xếp, điều này thống trị thời gian chạy cho dữ liệu lớn. Việc lấy mẫu này áp đặt một tổn thất chất lượng không đáng kể. Để tiếp tục giảm thời gian chạy, chúng tôi phân biệt không gian tìm kiếm cho các nút x. Chúng tôi chọn các giá trị x từ dữ liệu, tách nhau bằng trọng lượng tích lũy, và tìm kiếm các kết hợp của các nút x từ tập hợp các ứng cử viên được lấy mẫu đó. Sử dụng các mẫu 100 mặc định, các ứng cử viên của chúng tôi là các giá trị x tại (0%, 1.01%, . . . , 98.9%, 100%) trọng lượng tích lũy. 5.1.1 Bước tiếp theo là giảm cân. num_samples Đối với dữ liệu có nhiều giá trị x lặp lại, một số ứng cử viên của chúng tôi sẽ được trùng lặp. Ví dụ, 55% giá trị trong tính năng length_of_stay trong tập dữ liệu COMPAS là 0 hoặc 1. Trong những trường hợp như vậy, chúng tôi lặp lại mẫu với tỷ lệ cao hơn (chẳng hạn như 0%, 0.505%, 1.01%, v.v.) cho đến khi chúng tôi thu thập một số lượng phù hợp của ứng cử viên riêng biệt, không bao giờ vượt quá số lượng được chỉ định. Các Parameter 5.1.2 Chế độ phân biệt đối xử num_samples Để giảm thiểu chi phí của từng bước tuyến tính nhỏ nhất vuông, chúng tôi nén dữ liệu bằng cách sử dụng một kỹ thuật mới được giải mã trong Phụ lục Gửi Các ứng viên có thể kết hợp dữ liệu đầy đủ thành hai điểm tổng hợp cho mỗi cặp ứng viên liền kề, với tổng số 2 * ( - 1) điểm tổng hợp. Đối với bất kỳ hàm nào là tuyến tính giữa mỗi cặp đối diện của các nút x ứng cử viên, được đảm bảo bởi sự lựa chọn của chúng tôi của ứng cử viên kín đáo 5.1.3 Chứng khoán B . num_samples num_samples 𝑥-knots, these condensed points perfectly recreate the loss of that function over the full data set. We run our linear least squares solver on the condensed points instead of the full data set, which reduces our cost per solve from O(num_points) to O( Đây là một tối ưu hóa hiệu suất thuần túy, không có ý nghĩa về chất lượng. num_samples After discretization, the solution space consists of num_samples num_segments+1 𝑥-knot combinations, which is still too large for an exhaustive search. To make the search tractable we use a greedy search heuristic that optimizes one 𝑥-knot at a time. Specifically, at each step of the process we evaluate the error associated with each candidate 𝑥-knot, and keep the candidate that yields the least error. With this approach, we optimize in two stages. We begin with a single 𝑥-knot as our solution, and greedily add the best remaining candidate 𝑥-knot until our solution consists of (num_segments + 1) 𝑥-knots. Then we cycle through our solution, removing one 𝑥- knot at a time and replacing that 𝑥-knot with the best remaining candidate 𝑥-knot, which could be the same 𝑥-knot that we just removed. We continue this cycle of iterative improvements until our solution converges, or until we’ve exceeded the maximum number of iterations (defaulting to 10 iterations). 5.1 4 Tối ưu hóa toàn cầu qua tìm kiếm greedy . pwlfit can impose a minimum and/or maximum slope on the solution via bounded least squares. Instead of solving the least squares expression directly for the 𝑦-knots, we solve it for the deltas between adjacent 𝑦-knots. 5.1.1 Sự đơn điệu và đơn điệu Sau đó chúng tôi áp đặt một dốc min / max bằng cách giới hạn các dốc. hạn chế dốc có thể được sử dụng để hạn chế độ nhọn của các đường cong, nhưng chúng tôi chủ yếu sử dụng chúng để áp đặt sự đơn điệu. =0 giới hạn các chức năng không suy giảm đơn điệu trong khi =0 restricts to monotonically non-increasing functions. Specifying a lớn hơn 0 hoặc a dưới 0 hạn chế các chức năng tăng hoặc giảm nghiêm ngặt, tương ứng. có thể suy ra hướng của sự đơn điệu bằng cách áp dụng sự hồi quy iso-tonic [ ] to the condensed points. We fit an increasing and a decreasing isotonic regression, and use the direction that minimizes mean squared error. The user can override this behavior by specifying the direction explicitly or by disabling monotonicity entirely. min_slope max_slope min_slope max_slope pwlfit 26 can also interpolate in a transform of feature engineering. transforms the 𝑥-values before learning the curve. Specifically, will choose a candidate 𝑥-transformation, , among , , or based on the range of the 𝑥-values and then proceed with that transformation if it increases the Pearson correlation between Thay vào đó, người dùng có thể chỉ định bất kỳ chuyển đổi 1D nào tăng nghiêm ngặt hoặc chỉ định chuyển đổi danh tính để vô hiệu hóa chuyển đổi. 5.1.6 Input Transformations. pwlfit pwlfit pwlfit fx log log1p symlog1p fx 6 Thí nghiệm 6.1 Distillation Accuracy Table và Figure show the results obtained from experiments on the different datasets. A complete set of results can be found in Table in Appendix The results of applying our distillation technique with our piecewise-linear approximation algorithm are presented as . We present results from using various numbers of segments with and without a monotonicity restriction and otherwise default parameters. In all cases we truncated the control points to four significant digits. We also present several additional reference points to provide context. 1 4a 2 a ơi pwlfit · Chúng ta học trực tiếp các đường cong với Adadelta[sửa sửa mã nguồn] Tóm tắt: Tóm tắt các giá trị y của các điểm điều khiển bằng số không. Đối với x giá trị của các điểm điều khiển, chúng tôi sử dụng các giá trị lượng tử cho các tính năng số ( . 0%, 50%, 100% for a three point, two segment curve) or all unique values for categorical features. We then apply Adadelta to optimize the 𝑦 values. Simultaneously optimizing 𝑥 and 𝑦 values was also attempted, but the results were always worse than optimizing SGD: 31 e.g 𝑦 values alone. · Neural Additive Models (NAMs) [ ] is another method for learning interpretable models proposed by Agarwal . We present their result for reference where applicable. NAM: 2 et al • We train a bagged, boosted decision forest allowing feature interactions to demonstrate the accuracy of a non-interpretable, high-complexity "black box" model. Interacting forest: • : We train a bagged boosted decision forest GAM by restricting each tree to use only one feature. This model is also the source model for our distillation technique. GAM forest • We apply our distillation technique using an alternative piecewise-linear approximation algorithm pwlf: pwlf [13]. On each dataset we used five fold cross validation and present the metric mean and sample standard deviation across folds. We used three different metrics to evaluate accuracy: AUC-ROC, RMSE, and NDCG@5 for the three different tasks of classification, regression, and ranking. Further details on our experimentation setup can be found in Appendix and further details on the datasets, labels, and metrics can be found in Preliminaries A 2.1. Our results show that applying our distillation technique with 4-5 segments with sản xuất các mô hình chính xác như cả GAM nguồn rừng và NAM mô hình cho tất cả các tập dữ liệu ngoại trừ CWS nơi một khoảng cách nhỏ vẫn còn. below. In the case of the COMPAS dataset these models are as accurate as full complexity models. Applying our technique with produces competitive results, albeit less accurate on the MSLR-WEB30K dataset. By contrast, the results show that learning curves directly via SGD is less general. On the FICO and CWS datasets more segments are required to achieve accuracy comparable to the GAM forest models. On the MSLR-WEB30K dataset the accuracy is inferior even with many more segments. pwlfit 6.2 pwlf The consistent accuracy of applying our distillation approach with on these four datasets and three separate tasks (classification, regression, learning to rank) demonstrates that the process is not sensitive to either the specific data or the top level objective being used. pwlfit 6.2 Distillation Failures In Section Chúng tôi giải thích làm thế nào chưng cất tạo ra một mô hình với độ chính xác thấp hơn đòi hỏi điều tra thêm bởi vì "thất bại" bị cáo buộc thường có thể được quy cho các đặc điểm thiết yếu nhưng không thể giải thích của mô hình giáo viên không chuyển sang mô hình sinh viên. Trong khi đó, các nhà khoa học cho biết, trong quá trình nghiên cứu, các nhà khoa học đã phát hiện ra một số nguyên nhân gây ra tình trạng này, trong đó có một số nguyên nhân gây ra tình trạng này, trong đó có một số nguyên nhân gây ra tình trạng tình trạng tình trạng tình trạng tình trạng tình trạng tình trạng tình trạng tình trạng tình trạng tình trạng tình trạng tình trạng tình trạng tình trạng tình trạng tình trạng tình trạng tình trạng tình trạng tình trạng tình trạng tình trạng tình trạng tình trạng tình trạng tình trạng tình trạng tình trạng tình trạng tình trạng tình trạng tình trạng tình trạng tình trạng tình trạng tình trạng tình trạng tình trạng tình trạng tình trạng tình trạng tình trạng tình trạng tình trạng tình trạng tình trạng tình trạng tình trạng tình trạng tình trạng tình trạng tình trạng tình trạng tình trạng tình trạng tình trạng tình trạng tình trạng tình trạng tình trạng tình trạng tình trạng tình trạng tình trạng tình trạng tình trạng tình trạng tình trạng tình trạng tình . ~50% of the gap is recovered). 3.1 5 I. E Để xác định hai thất bại trên, chúng tôi đã áp dụng phương pháp sau. • Begin with the original teacher model. For each submodel compute the metric delta against the teacher model from distilling only that submodel and no others. • Perform the above on each cross validation fold using the validation set and average the metric deltas across folds. • Sort the features by their associated metric delta to determine the worst distillations. 6.3 Efficiency & Robustness Các thí nghiệm của phần trước đã chỉ ra rằng more accurately distills the source model across datsets than Chúng tôi cũng tìm thấy trên bộ dữ liệu MSLR-WEB30K rằng is more efficient and robust than . Figure hiển thị số liệu phù hợp từ lần gấp đầu tiên của bộ dữ liệu MSLR-WEB30K vì số lượng phân đoạn thay đổi mà không có sự đơn điệu. Cốt truyện trên cùng hiển thị thời gian trong giây, được đo trên ThinkStation P520, để phù hợp với từng trong số 136 mô hình phụ của rừng GAM nguồn. Chúng tôi thấy rằng is faster in the average case as the number of segments increases, and has a narrower distribution. The bottom plot shows the RMSE of each fit against the 136 submodels of the source GAM forest. We again find that performs favorably in the average case with a narrower runtime distribution. pwlfit pwlf pwlfit pwlf 4B pwlfit pwlfit It’s worth noting that by default does not perform any down-sampling. For the MSLR-WEB30K dataset running without any downsampling was prohibitively expensive. For all of our experi-ments we ran with a pre-processing downsample to a random 1000 examples. We found this to be a fair point for balancing speed and quality when comparing to . It is of course possible with both algorithms to modify the number of samples used to strike a different trade-off between run time and accuracy. pwlf pwlf pwlf pwlfit 6.4 Monotonicity As discussed in Section có thể phù hợp với các đường cong đơn điệu với phát hiện hướng tự động. compares curve models fit with and without monotonicity constraints (automatically inferring the direction) across datasets. For the COMPAS dataset monotonic and non monotonic models are comparably accurate, while for FICO, MSLR-WEB30K, and CWS, non-monotonic models are more accurate. 5 , pwlfit 4a Sự đơn điệu liên quan đến các tính năng thích hợp là mong muốn đối với các mô hình có thể giải thích.Trong những trường hợp này, một mô hình đơn điệu có thể được ưu tiên hơn một mô hình không đơn điệu, ngay cả khi nó ít chính xác hơn. compares monotonic and non-monotonic 5-segment curve models on the FICO dataset for the MSinceMostRecentDelq and PercentTradesWBalance features. Given the semantic meaning of these features, it is desirable from a transparency and incentives standpoint for the model output to be monotonic with respect to each of them. 6 7 CONCLUSION We have introduced a novel method for distilling interpretable models into human-readable code using piecewise-linear curves and demonstrated its efficacy on four datasets. We have shown that curve models match or outperform the accuracy achieved by other additive models. On smaller datasets, curve models match the accuracy of more complex models, like interacting decision forests. Our localized distillation methodology is applicable to any model containing univariate numerical functions and is straightforward to implement using the publicly-available library. pwlfit [22] We have explained how curve model distillation reinforces interpretability and addresses a variety of real-world engineering challenges. Curve models are 1) transparent, 2) well-regularized, 3) easy to analyze for presence of biases or other fairness issues, and 4) can be directly edited or improved outside the context of machine learn-ing to fix the aforementioned fairness issues. Distilling models into human-readable code allows one to address novel machine learning problems using well-established software engineering methods. Curve models can be improved by multiple contributors in parallel, reviewed, and made to systematically follow best practices. Curve models are well-suited for production applications, since they can be natively supported in many languages, are easy to deploy, and fast to evaluate. ACKNOWLEDGMENTS We thank Vytenis Sakenas, Jaime Fernandez del Rio, Benoit Zhong, and Petr Mitrichev for their support and providing the algorithms and optimization infrastructure used in our experiments. We also thank Paul Heymann, Diego Federici, Mike Bendersky, Paul Haahr, and Petr Mitrichev for their helpful feedback and detailed reviews. Lastly, we thank Xinyu Qian, Janelle Lee, Po Hu, and Chary Chen for preparing the CWS data set for our experiments. Các References [1] 2018 FICO Explainable Machine Learning Challenge. https://community.fico. com/s/explainable-machine-learning-challenge. [2] Rishabh Agarwal, Nicholas Frosst, Xuezhou Zhang, Rich Caruana, and Geoffrey E. Hinton. 2020. Neural Additive Models: Interpretable Machine Learning with Neural Nets. arXiv :cs.LG/2004.13912 [3] Elaine Angelino, Nicholas Larus-Stone, Daniel Alabi, Margo Seltzer, and Cynthia Rudin. 2017. Learning Certifiably Optimal Rule Lists. In . ACM SIGKDD Quốc tế lần thứ 23 về Khám phá tri thức và khai thác dữ liệu (KDD '17) [4] Julia Angwin, Jeff Larson, Surya Mattu, và Lauren Kirchner. 2016. bias máy: Có phần mềm được sử dụng trên toàn quốc để dự đoán tội phạm trong tương lai. 23 (2016). And it’s biased against blacks. ProPublica [5] Cristian Buciluundefined, Rich Caruana, and Alexandru Niculescu-Mizil. 2006. Model Compression. In . 535–541. Proceedings of the 12th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining (KDD ’06) [6] Rich Caruana, Yin Lou, Johannes Gehrke, Paul Koch, Marc Sturm, and Noemie Elhadad. 2015. Intelligible Models for HealthCare: Predicting Pneumonia Risk and Hospital 30-Day Readmission. In . 1721–1730. Proceedings of the 21th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining (KDD ’15) [7] Chaofan Chen, Kangcheng Lin, Cynthia Rudin, Yaron Shaposhnik, Sijia Wang, and Tong Wang. 2018. An Interpretable Model with Globally Consistent Explanations for Credit Risk. arXiv :cs.LG/1811.12615 [8] Alexandra Chouldechova. 2017. Fair Prediction with Disparate Impact: A Study of Bias in Recidivism Prediction Instruments. 5, 2 (Jun 2017), 153–163. Big Data https://doi.org/10.1089/big.2016.0047 [9] ![Text Box: CDF](file:///C:/Users/user/AppData/Local/Temp/msohtmlclip1/01/clip_image063.gif)Julia Dressel and Hany Farid. 2018. The accuracy, fairness, and limits of predicting recidivism. 4, 1 (2018). Khoa học tiến bộ https://doi.org/10.1126/sciadv.aao5580 [10] Mengnan Du, Ninghao Liu, and Xia Hu. 2019. Techniques for interpretable machine learning. 63, 1 (Tháng Chín 2019), 68–77. Commun. ACM https://doi.org/10. 1145/3359786 [11] Trevor Hastie and Robert Tibshirani. 1986. Generalized Additive Models. 1, 3 (08 1986), 297–310. Thảo luận: Sci [12] Geoffrey Hinton, Oriol Vinyals, và Jeff Dean. 2015. Distilling the Knowledge in a Neural Network. arXiv :stat.ML/1503.02531 [13] Charles F. Jekel and Gerhard Venter. 2019. . pwlf: A Python Library for Fitting 1D Continuous Piecewise Linear Functions https://github.com/cjekel/piecewise_ linear_fit_py [14] Jon Kleinberg. 2018. Inherent Trade-Offs in Algorithmic Fairness. In . Abstracts of the 2018 ACM International Conference on Measurement and Modeling of Computer Systems (SIGMETRICS ’18) [15] Thomas Kluyver, Benjamin Ragan-Kelley, Fernando Pérez, Brian Granger, Matthias Bussonnier, Jonathan Frederic, Kyle Kelley, Jessica Hamrick, Jason Grout, Sylvain Corlay, Paul Ivanov, Damián Avila, Safia Abdalla, and Carol Willing. 2016. Jupyter Notebooks – a publishing format for reproducible computational workflows. In , F. Loizides and B. Schmidt (Eds.). IOS Press, 87 – 90. Positioning and Power in Academic Publishing: Players, Agents and Agendas [16] ![Text Box: CDF](file:///C:/Users/user/AppData/Local/Temp/msohtmlclip1/01/clip_image072.gif)A. K. Kolmogorov. 1957. On the Representation of Continuous Functions of Several Variables by Superposition of Continuous Functions of One Variable and Addition. 114 (1957), 369–373. Doklady Akademii Nauk SSSR [17] Yin Lou, Rich Caruana, and Johannes Gehrke. 2012. Intelligible Models for Classification and Regression. In Chương 150 - 158 ACM SIGKDD International Conference on Knowledge Discovery and Data Mining (KDD '12) [18] Yin Lou, Rich Caruana, Johannes Gehrke, và Giles Hooker. 2013. Các mô hình thông minh chính xác với các tương tác theo cặp. . 623–631. ACM SIGKDD International Conference on Knowledge Discovery and Data Mining (KDD ’13) [19] Tao Qin and Tie-Yan Liu. 2013. Introducing LETOR 4.0 Datasets. abs/1306.2597 (2013). CoRR http://arxiv.org/abs/1306.2597 [20] Tao Qin, Tie-Yan Liu, and Hang Li. 2010. A general approximation framework for direct optimization of information retrieval measures. 13, 4 (2010), 375–397. Information retrieval [21] Cynthia Rudin. 2018. Stop Explaining Black Box Machine Learning Models for High Stakes Decisions and Use Interpretable Models Instead. arXiv :stat.ML/1811.10154 [22] Ethan Sterling và Walker Ravina. . pwlfit: A Piecewise-Linear Curve Fitting Library https://github.com/google/pwlfit [23] Sarah Tan, Rich Caruana, Giles Hooker, and Yin Lou. 2018. Distill-and-Compare: Auditing Black-Box Models Using Transparent Model Distillation. In Chương 303 - 310 Proceedings of the 2018 AAAI/ACM Conference on AI, Ethics, and Society (AIES ’18) [24] Berk Ustun and Cynthia Rudin. 2014. Methods and Models for Interpretable Linear Classification. arXiv :stat.ME/1405.4047 [25] Wikipedia. 2020. Bhatia–Davis inequality. [Trực tuyến; Truy cập ngày 03 tháng 9 năm 2020]. http://en.wikipedia.org/w/index.php? title=Bhatia%E2%80%93Davis%20inequality&oldid=875899600. [26] Wikipedia. 2020. Isotonic regression. [Online; accessed 30-November-2020]. http://en.wikipedia.org/w/index.php?title= Isotonic%20regression&oldid=989717822. [27] Wikipedia. 2020. lý thuyết đại diện Kolmogorov-Arnold. [Online; accessed 10-August-2020]. http://en.wikipedia.org/w/index.php?title=Kolmogorov%E2%80%93Arnold% 20 đại diện%20theorem&oladh=964097101. [28] Wikipedia. 2020. Minimum description length. [Trực tuyến; Truy cập ngày 12 tháng 8 năm 2020]. http://en.wikipedia.org/w/index. php?title=Tối thiểu%20description%20length&oladh=965620302. [29] Wikipedia. 2020. Nothing-up-my-sleeve number. [Online; accessed 12-August-2020]. http://en.wikipedia.org/w/ index.php?title=Nothing-up-my-sleeve%20number&oldid=972510276. [30] Wikipedia. 2020. Segmented regression. [Online; accessed 10-August-2020]. http://en.wikipedia.org/w/index.php? title=Segmented%20regression&oldid=910888930. [31] Matthew D. Zeiler. 2012. ADADELTA: An Adaptive Learning Rate Method. abs/1212.5701 (2012) arXiv CoRR :1212.5701 http://arxiv.org/abs/1212.5701 [32] Honglei Zhuang, Xuanhui Wang, Michael Bendersky, Alexander Grushetsky, Yonghui Wu, Petr Mitrichev, Ethan Sterling, Nathan Bell, Walker Ravina, và Hai Qian. 2021. Xếp hạng có thể giải thích với các mô hình bổ sung tổng quát. . to appear. Hội nghị quốc tế ACM lần thứ 14 về tìm kiếm web và khai thác dữ liệu (WSDM ’21) A EXPERIMENTAL DETAILS A.1 Đánh giá chéo Chúng tôi đã thực hiện 5 lần xác thực chéo trên tất cả các bộ dữ liệu. • : Các bộ dữ liệu được chia thành 5 phần bằng nhau. Mỗi phần được sử dụng một lần như một bộ thử nghiệm (20%) với các phần còn lại như tập huấn (80%). ]. No validation set was used given the small size of the data. Instead we used out of bag evaluation wherever a validation set would be used (see below). COMPAS & FICO 2 • : We used the predefined folds and partitions from the original dataset. For each fold it allocates 60% for training 20% for validation and 20% for testing. MSLR-WEB30K · : We used a dataset of 60,000 queries and 2,690,439 items with an average of ~44 items per query. The dataset was split into 5 equal parts. Each part was used once as a test set. Of the remaining parts 80% was used as training and 20% as validation. Overall this resulted in 64% for training, 16% for validation and 20% for test for each fold. CWS A.2 Học tập chung For both SGD and tree models, we trained ensembles with 56 bags using a bag fraction of 7 to produce the random subsets. For MSLR-WEB30K and CWS, queries were randomly divided into bags. For the other datasets, individual examples were randomly divided into bags. When applying our distillation technique, we distilled the ensembles into a single per feature. When learning the curves directly via SGD, we averaged the learned 𝑦-coordinate values across bags to obtain the final model. PWLCurve A.3 Loss Functions We trained SGD and tree models using log-loss for the COMPAS dataset, mean squared error (MSE) for the FICO dataset, and ranking loss (ApproxNDCG [ ]) for the MSLR-WEB30K and CWS datasets. 20 A.4 Các thông số Hyper For the COMPAS, and FICO datasets hyper-parameters were tuned using out of bag evaluation on the training set of the first fold. For MSLR-WEB30K and CWS, we used the validation sets of the first fold. • We tuned the batch size in {128, 256, 512, 1024, 4096}. We used the Adadelta [ ] tối ưu hóa và điều chỉnh một số lượng đủ tối đa các bước để hội tụ. không có pa-rameters khác đã được điều chỉnh. SGD: 31 • We trained depth 5 trees using an inter-nal boosted forest algorithm. We tuned a sufficient maximum number of steps for convergence. No other parameters were tuned. Interacting forest: • Chúng tôi đã đào tạo độ sâu 3 cây bị hạn chế sử dụng một tính năng duy nhất với thuật toán rừng tăng cường nội bộ. Chúng tôi đã điều chỉnh một số bước tối đa đủ để hội tụ. không có thông số khác được điều chỉnh. GAM forest: In all cases, we trained models for the tuned maximum number of steps and then truncated models after training. Truncation used a confidence-based truncation algorithm which attempts to select the earliest step for which no later step provides a confident win. This algorithm was run on the validation set if present or otherwise utilized out of bag evaluation. A.5 Code GitHub repository dành cho [ ] chứa một số sổ tay Jupyter áp dụng kỹ thuật chưng cất của chúng tôi và thực hiện các phân tích được hiển thị trong bài báo này. Xin vui lòng tham khảo bản phát hành v0.2.0 để có được các tập tin dữ liệu đi kèm và phiên bản thích hợp của các sổ tay Jupyter. pwlfit 22 B LINEAR CONDENSE Linear condensing is a data optimization designed to reduce the runtime complexity of our piecewise-linear curve fitting. B.1 Motivation/Overview picks a set of candidate 𝑥-knots and searches through combinations of those 𝑥-knots. For each combination considered, it solves a linear least squares expression for the ideal 𝑦-knots, calculates the resulting squared error, and prefers the combination that yields the lowest error. pwlfit Mỗi giải pháp là tuyến tính về kích thước đầu vào, mà là chậm cho dữ liệu lớn. Chúng tôi có thể downsample để tiết kiệm tính toán với chi phí chính xác. Thay vào đó, chúng tôi giới thiệu một kỹ thuật để tiết kiệm tính toán mà không có chi phí chính xác. Chúng tôi nén dữ liệu thành O(#candidates) điểm tổng hợp. Những điểm tổng hợp này hoàn toàn tái tạo lỗi vuông thực sự trên dữ liệu đầy đủ cho mỗi Chúng tôi sau đó tối ưu hóa trên các điểm tổng hợp thay vì các điểm thực tế. PWLCurve This is possible because we know the candidate 𝑥-knots ahead of time. A định nghĩa trên các nút x đó sẽ luôn luôn là tuyến tính giữa bất kỳ nút x liền kề nào trong tập hợp các ứng cử viên. Như chúng ta cho thấy trong lý thuyết, chúng ta có thể ngưng tụ tùy ý nhiều điểm xuống hai điểm để các kết hợp tuyến tính giống nhau trên hai điểm đó như trên tập hợp đầy đủ. Trong corollary, chúng ta áp dụng quy trình này riêng biệt giữa mỗi cặp nút x ứng cử viên, tạo ra hai điểm giữa mỗi cặp. is the same on those synthetic points as it is on the full data set. (Up to a constant that we safely ignore because it’s the same for each PWLCurve PWLCurve c) PWLCurve B.2 Definitions For convenience, we take standard definitions and specialize them for weighted 2D points. Hãy để một "điểm" đề cập đến một giá trị thực của ba hình thức (x, y, trọng lượng) với trọng lượng 0. Định nghĩa B.1. > Hãy để một 'dòng' đề cập đến một hàm của hình thức f (x) =mx + b cho m, b, x ∈ R. Definition B.2. Đối với bất kỳ hàm nào f : R → R và thiết lập điểm hữu hạn P, hãy xác định lỗi vuông SE( f , P) là tổng của ( f (x) −y)2 · trọng lượng cho mỗi điểm trong P. Nếu P là trống rỗng, chúng ta coi lỗi vuông là 0. Definition B.3. Đối với bất kỳ thiết lập điểm hữu hạn nào P, hãy xác định 'đường phù hợp tốt nhất' tốt nhất f itline (P) là đường L làm giảm thiểu SE(L, P). Trong trường hợp thoái hóa nơi nhiều đường giảm thiểu SE, hãy để đường phù hợp tốt nhất là giải pháp với độ dốc không, và nếu nhiều giải pháp có độ dốc không, hãy để đường phù hợp tốt nhất là giải pháp với độ chạm y không. Definition B.4. Có hai trường hợp thoái hóa đòi hỏi phải phá vỡ liên kết.Nếu nhóm điểm là trống, mỗi dòng có cùng một lỗi vuông, vì vậy định nghĩa của chúng tôi chọn f (x) = 0 là đường phù hợp tốt nhất.Nếu nhóm điểm không trống nhưng tất cả các điểm của nó có cùng một x, thì bất kỳ dòng nào có giá trị chính xác ở x sẽ giảm thiểu lỗi vuông, vì vậy định nghĩa của chúng tôi chọn đường ngang. B.3 Theorem Theorem B.5. 𝑃 𝑃 ′ Given a set of points , chúng ta có thể xây dựng một set of two or fewer points such that Những thuộc tính này là mong muốn bởi vì (2) cho phép chúng ta tính toán lỗi vuông của các dòng M trên một tập dữ liệu của các điểm N trong O(N + M) thay vì O(N M) ngây thơ, và (1) cho phép chúng ta mở rộng thuộc tính này từ các dòng đến một lớp hữu ích của đường cong tuyến tính từng phần trong corollary. Remark. Lưu ý rằng các điểm trong P ′ được xây dựng, thay vì được chọn từ P. Việc xây dựng của P ′ được thực hiện trong [ ] như pwlfit 22 linear_condense.linear_condense. Proof. Let 𝑋, 𝑌 , and 𝑊 represent the 𝑥, 𝑦, and 𝑤𝑒𝑖𝑔ℎ𝑡 values of 𝑃, respectively. We dismiss the trivial case where 𝑃 is empty; in that case, an empty 𝑃 ′ satisfies the requirements. Likewise, we dismiss the case where 𝑚𝑖𝑛(𝑋 ) = 𝑚𝑎𝑥 (𝑋 ) since 𝑃 ′ = {𝐶𝑒𝑛𝑡𝑟𝑜𝑖𝑑 (𝑃)} fulfills our desired properties. With those cases resolved, we assume for the rest of this proof that 𝑚𝑖𝑛(𝑋 ) 𝑚𝑎𝑥 (𝑋). < To begin, we reframe the coordinate system such that the origin is the centroid of 𝑃 and 𝑦 = 0 is the best fit line. (This simplifies the math.) We ensure that the shift of coordinates is reversible and preserves the squared error. B.3.1 Làm lại hệ thống tọa độ. Centroid (P) = (X · W /sum(W ), Y · W /sum(W )). Chúng tôi dịch khung tọa độ bằng centroid này để, dưới tọa độ mới, Centroid (P) = (0, 0). Sau khi dịch, X · W = 0 và Y · W = 0. Ngoài ra, chúng tôi xoay hệ thống tọa độ bằng độ dốc của đường phù hợp tốt nhất: chúng tôi thay thế Y bằng Y − X · độ dốc (tốt nhất f itline (P)). Với trung tâm ở nguồn gốc, độ dốc của đường phù hợp tốt nhất là Covariance (X, Y, W ) / V ariance (X, W ) = Dưới khung tọa độ mới, SE(tốt nhất f itline (P), P) = SE(y = 0, P) = Y 2 ·W Chúng tôi sẽ xác định P ′ theo hệ thống tọa độ mới này.Sau đó, chúng tôi có thể dễ dàng chuyển đổi P ′ trở lại hệ thống tọa độ ban đầu bằng cách đảo ngược đường cong và dịch. Chúng ta sẽ thể hiện SE(line, P) như SE(best f itline (P), P) cộng với các điều khoản còn lại. B.3.2 Sai lầm vuông của một dòng tùy ý. Đối với một đường ngẫu nhiên y = mx + b, 𝑆𝐸(𝑦 = 𝑚𝑥 + 𝑏, 𝑃) = (𝑚𝑋 + 𝑏 − 𝑌) 2 · 𝑊 = (𝑚2𝑋 2 + 2𝑏𝑚𝑋 − 2𝑚𝑋𝑌 + 𝑏 2 − 2𝑏𝑌 + 𝑌 2 ) ·𝑊 . Trong khung tọa độ của chúng tôi, X ·W = 0, Y ·W = 0, và XY ·W = 0. Vì vậy SE(y = mx + b, P) = (m2X 2 + b 2 + Y 2 ) ·W. 𝑌 2 ·𝑊 = 𝑆𝐸(𝑏𝑒𝑠𝑡 𝑓 𝑖𝑡𝑙𝑖𝑛𝑒 (𝑃), 𝑃). Therefore, SE(y = mx + b, P) = m 2X 2 ·W + b 2 ·W + SE(tốt nhất f itline (P), P). 𝑚 2𝑋 2 ·𝑊 + 𝑏 2 ·𝑊 = 𝑆𝐸(𝑦 = 𝑚𝑥 + 𝑏, 𝑃) − 𝑆𝐸(𝑏𝑒𝑠𝑡 𝑓 𝑖𝑡𝑙𝑖𝑛𝑒 (𝑃), 𝑃). B.3.3 Lỗi hình vuông trên P ′. B.3.3 Lỗi hình vuông trên P ′. 𝑆𝐸(𝑦 = 𝑚𝑥 + 𝑏, 𝑃 ′ ) = 𝑆𝐸(𝑦 = 𝑚𝑥 + 𝑏, 𝑃) − 𝑆𝐸(𝑏𝑒𝑠𝑡 𝑓 𝑖𝑡𝑙𝑖𝑛𝑒 (𝑃), 𝑃) for all lines𝑦 = 𝑚𝑥+𝑏 ⇐⇒ (𝑚𝑋 ′+𝑏−𝑌 ′ ) 2 ·𝑊 ′ = 𝑚2𝑋 2 ·𝑊 +𝑏 2 ·𝑊 for all lines 𝑦 = 𝑚𝑥 + 𝑏. Phương trình trên có thể được xem là một đa nguyên vuông trong hai biến m và b. Để giữ cho tất cả các giá trị của m và b, các hệ số của mỗi mc b d phải bằng trên cả hai mặt của phương trình. 1. 𝑋 ′2 ·𝑊 ′ = 𝑋 2 ·𝑊 , and 2. 𝑋 ′ ·𝑊 ′ = 0, and 3. 𝑠𝑢𝑚(𝑊 ) = 𝑠𝑢𝑚(𝑊 ′ ), and 4. 𝑌 ′ ·𝑊 ′ = 0, and 5. 𝑌 ′2 ·𝑊 ′ = 0, and 6. 𝑋 ′𝑌 ′ ·𝑊 ′ = 0. (5) ⇐⇒ 𝑌 ′ = 0, which also guarantees (4) and (6). We will use 1-3 to derive a satisfactory 𝑋 ′ and 𝑊 ′ . We’ve determined that 𝑌 ′ = 0. B.3.4 Deriving 𝑋 ′ and 𝑊 ′ . Hãy để X ′ := (x1, x2) và W ′ := (w1, w2). Không mất tính tổng quát, hãy để x1 <= x2. Bởi vì chúng ta có ba phương trình trong bốn không biết, chúng ta không thể giải quyết trực tiếp cho x1, x2,w1,w2. Để tạo ra một phương trình thứ tư, chúng ta chọn hạn chế rằng x1/x2 = min(X)/max (X). Với phương trình thứ tư này, chúng ta giải quyết các phương trình đồng thời để tạo ra: Note that, because the centroid is zero, 𝑚𝑖𝑛(𝑋) < 0 < 𝑚𝑎𝑥 (𝑋), so these expressions are all defined. (The denominators are never 0 and values beneath the square roots are never negative.) P ′ = (x1, 0,w1), (x2, 0,w2) đáp ứng yêu cầu của chúng tôi. <= 𝑥1 <= 𝑥2 <= 𝑚𝑎𝑥 (𝑋). We wanted 𝑃 ′ to satisfy the the squared error expression, which it does, and also have its x-values bounded by the x-values of 𝑃, which we prove now. Let 𝜇 := 𝐸(𝑋,𝑊 ), the expected value of 𝑋 weighted by 𝑊 , which is equivalent to the x-value of 𝐶𝑒𝑛𝑡𝑟𝑜𝑖𝑑 (𝑃). By the Bhatia–Davis inequality [25], 𝑠𝑡𝑑𝑑𝑒𝑣(𝑋,𝑊 ) 2 <= (𝜇 −𝑚𝑖𝑛(𝑋)) (𝑚𝑎𝑥 (𝑋) − 𝜇). (This inequality is equivalent to the observation that the standard deviation of a distribution is maximized when all the xs are at the extremes – i.e. equal to min(X) or max(X).) B.3.5 Kiểm tra rằng min(X) Vì μ là 0 cho P, nên stddev(X,W) 2 <= −min(X)max (X). B.4 Corollary Corollary B.6. Với một tập hợp các điểm P và một tập hợp các nút x K, chúng ta có thể xây dựng một tập hợp các điểm P ′ với IP ′ IP <= 2( IPK - 1) để, đối với bất kỳ PWLCurve C có nút x là các yếu tố của K, SE(C, P) = SE(C, P ′ ) + c, nơi c là một hằng số được xác định độc quyền bởi P và K là như nhau cho mỗi C. Lưu ý rằng các điểm trong P ′ được xây dựng, thay vì được chọn từ P. Việc xây dựng của P ′ được thực hiện trong pwlfit [22] như . linear_condense.condense_around_knots Các đường cong tuyến tính từng phần là hằng số đối với các giá trị đầu vào vượt quá phạm vi của các nút x của chúng, vì vậy C là hằng số đối với x = max (K) = K[k − 1]. B.4.1 Preprocess P bằng cách ép. Do đó, chúng ta có thể ép các giá trị x của P đến [K[0], K[k − 1] mà không thay đổi SE(C, P). To construct 𝑃 ′ from 𝑃, we first partition 𝑃 by 𝐾 into 𝑘 + 1 disjoint pieces labeled 𝑃0, 𝑃1, ..., 𝑃𝑘 . B.4.2 Partition 𝑃 by 𝐾. Bởi vì chúng ta nhét P, P0 và Pk trống rỗng. do đó Ðk−1 i=1 Pi = P. Một PWLCurve là tuyến tính giữa các điểm điều khiển liên tiếp, vì vậy C là tuyến tính trên mỗi Pi. B.4.3 Convert each partition into two points. From the theorem, for each 𝑃𝑖 , we can produce a two-point set 𝑃 ′ 𝑖 with 𝑚𝑖𝑛𝑥 (𝑃𝑖) <= 𝑚𝑖𝑛𝑥 (𝑃 ′ 𝑖 ) <= 𝑚𝑎𝑥𝑥 (𝑃 ′ 𝑖 ) <= 𝑚𝑎𝑥𝑥 (𝑃𝑖), such that for any line 𝐿, Tài liệu này có sẵn trên archiv dưới giấy phép CC by 4.0 Deed (Attribution 4.0 International). Tài liệu này có sẵn trên archiv dưới giấy phép CC by 4.0 Deed (Attribution 4.0 International).