Về khả năng giải thích của các bộ phân loại dựa trên nguyên mẫu từng phần: Phân tích lấy con người làm trung tâm

Bảng liên kết

Tóm tắt và giới thiệu

Thông tin lai lịch

Phương pháp luận

Khả năng diễn giải nguyên mẫu

Sự giống nhau của truy vấn nguyên mẫu

Khả năng giải thích của quá trình ra quyết định

Ảnh hưởng của số lượng nguyên mẫu thấp

Thảo luận

TRỪU TƯỢNG

Mạng nguyên mẫu một phần gần đây đã trở thành phương pháp được quan tâm như một giải pháp thay thế có thể hiểu được cho nhiều bộ phân loại hình ảnh hộp đen hiện tại. Tuy nhiên, khả năng diễn giải của các phương pháp này từ góc độ của người dùng vẫn chưa được khám phá đầy đủ. Trong công việc này, chúng tôi đã nghĩ ra một khuôn khổ để đánh giá khả năng diễn giải của các mô hình dựa trên nguyên mẫu từng phần từ góc độ con người. Khung đề xuất bao gồm ba số liệu và thử nghiệm có thể thực hiện được. Để chứng minh tính hữu ích của khung, chúng tôi đã thực hiện một loạt thử nghiệm mở rộng bằng cách sử dụng Amazon Mechanical Turk. Chúng không chỉ thể hiện khả năng của khung của chúng tôi trong việc đánh giá khả năng diễn giải của các mô hình dựa trên nguyên mẫu từng phần khác nhau, mà theo hiểu biết tốt nhất của chúng tôi, chúng còn là công trình toàn diện nhất để đánh giá các phương pháp đó trong một khung thống nhất.

Giới thiệu

Khi Trí tuệ nhân tạo và Học máy trở nên phổ biến hơn ở nhiều nơi trong xã hội và nền kinh tế, nhu cầu về sự minh bạch, công bằng và tin cậy cũng tăng lên. Nhiều phương pháp và thuật toán tiên tiến nhất là những hộp đen trong đó con người không thể biết được quá trình ra quyết định. Trí tuệ nhân tạo có thể giải thích và giải thích được nhằm mục đích giải quyết vấn đề này bằng cách đưa ra các phương pháp giải thích các quyết định của mô hình hộp đen hoặc bản thân chúng có thể diễn giải được.

Trình phân loại dựa trên nguyên mẫu là một loại phương pháp vốn có thể hiểu được, sử dụng các ví dụ nguyên mẫu để đưa ra quyết định. Người ta cho rằng miễn là con người có thể hiểu được bản thân các nguyên mẫu thì bản thân quyết định đó cũng có thể hiểu được [1]. Bộ phân loại dựa trên nguyên mẫu không phải là phát minh mới. Nhiều thứ đã tồn tại từ rất lâu trước khi nhu cầu về khả năng diễn giải trở nên cấp thiết [2–6]. Trong những năm gần đây, các phương pháp mới hơn đã được đề xuất kết hợp sức mạnh và khả năng diễn đạt của mạng lưới thần kinh với quy trình ra quyết định của bộ phân loại dựa trên nguyên mẫu để tạo ra mạng lưới thần kinh nguyên mẫu [7], [8], đạt được kết quả cạnh tranh với trạng thái của nghệ thuật trong khi vốn có thể được giải thích trong quá trình này.

Một danh mục con mới hơn của các bộ phân loại dựa trên nguyên mẫu là các mạng nguyên mẫu một phần. Các mạng này, thường hoạt động trong miền phân loại hình ảnh, sử dụng các vùng của mẫu truy vấn, trái ngược với toàn bộ hình ảnh truy vấn, để đưa ra quyết định. ProtoPNet[9] là phương pháp đầu tiên đưa ra những giải thích chi tiết về phân loại hình ảnh đồng thời mang lại độ chính xác hiện đại. Hình 1 cho thấy một ví dụ về cách đưa ra quyết định của phương pháp nguyên mẫu từng phần.

Những lời giải thích được đưa ra bởi các phương pháp này có thể rất khác nhau. Ngay cả khi bố cục chung của phần giải thích là tương tự nhau thì bản thân các nguyên mẫu từng phần có thể rất khác nhau. Thật bất thường khi cho rằng chúng đưa ra cùng một mức độ dễ hiểu. Vì vậy, việc đánh giá khả năng diễn giải của chúng là cần thiết.

Trong khi nhiều phương pháp trong số này đánh giá hiệu suất của các mô hình của họ và so sánh chúng với trạng thái hiện đại, thì rất ít phương pháp phân tích khả năng diễn giải của các phương pháp của họ. Hầu hết các phân tích về vấn đề này dường như tập trung vào các số liệu tự động để đánh giá khả năng diễn giải[10]. Các phép đo tự động như vậy, mặc dù hữu ích nhưng không thể thay thế cho việc đánh giá khả năng diễn giải của con người. Những người khác đã làm việc về gỡ lỗi với sự hỗ trợ của con người [11] nhưng chưa mở rộng điều đó sang đánh giá đầy đủ về khả năng diễn giải của phương pháp.

Kim và cộng sự. đã đưa ra một phương pháp để đánh giá các khái niệm trực quan của con người và thậm chí còn thực hiện các thử nghiệm trên ProtoPNet và ProtoTree[12], nhưng việc đánh giá của họ gặp phải một số vấn đề. Quy mô của các thí nghiệm ở Kim et al. nhỏ, chỉ có hai phương pháp nguyên mẫu từng phần được đánh giá chỉ bằng một tập dữ liệu duy nhất. Thiết kế thử nghiệm của tác phẩm đó cũng dựa vào xếp hạng chi tiết của con người. Kiểu thiết kế này có thể là một cách không đáng tin cậy để đo lường quan điểm của con người khi không có sự đồng thuận về ý nghĩa của từng lựa chọn [13]. Nó sử dụng nhãn lớp để đo lường chất lượng của các nguyên mẫu trong bộ dữ liệu CUB mặc dù không có dấu hiệu nào cho thấy người dùng đã quen với những chi tiết vụn vặt về sự khác biệt giữa 200 lớp chim. Cuối cùng, nó sử dụng cách trình bày hình chữ nhật mặc định của các nguyên mẫu từ ProtoPNet và ProtoTree. Những cách trình bày này có xu hướng quá rộng và gây nhầm lẫn cho người dùng so với bản đồ nhiệt kích hoạt thực tế. Do đó, chúng tôi đề xuất một phân tích lấy con người làm trung tâm bao gồm một tập hợp các thử nghiệm để đánh giá khả năng diễn giải của các phương pháp nguyên mẫu từng phần.

Bàn thắng

Khả năng diễn giải của hệ thống nguyên mẫu từng phần không phải là một khái niệm được xác định rõ ràng. Trong công việc này, chúng tôi tập trung vào ba thuộc tính mà các hệ thống như vậy cần có để có thể hiểu được.

• Khả năng diễn giải của bản thân nguyên mẫu: Khái niệm mà nguyên mẫu đề cập đến phải dễ nhận biết và dễ hiểu đối với con người. Hình 2 (a) cho thấy một ví dụ về một nguyên mẫu không thể hiểu được vì nó trỏ đến một vùng nền không liên quan. Đặc biệt, các phương pháp học máy và mạng lưới thần kinh có thể đưa ra quyết định chính xác dựa trên sự kết hợp tính năng trong dữ liệu mà con người có thể không hiểu được. Ngoài ra, việc trình bày các tính năng như vậy là rất quan trọng. Một nguyên mẫu có thể đề cập đến một khái niệm rất khác thường nhưng cách trình bày của nó có thể khiến con người tin một cách sai lầm rằng họ hiểu lý do đằng sau một quyết định.

• Sự giống nhau của nguyên mẫu với vùng tương ứng trong mẫu truy vấn: Ngay cả khi bản thân nguyên mẫu có thể dễ dàng hiểu được bởi con người, việc kích hoạt nó trên mẫu truy vấn có thể không hiển thị cùng khái niệm với nguyên mẫu. Hình 2 (b) cho thấy một ví dụ về vấn đề này. Điều này rất quan trọng vì nó cho thấy sự tương đồng về cấu trúc trong không gian nhúng mà các nguyên mẫu cư trú trong đó không tương thích với sự hiểu biết của con người về sự tương đồng. Đây là vấn đề đã được báo cáo trong các tài liệu trước đây [14].

• Bản thân khả năng diễn giải của quá trình ra quyết định cũng là một khía cạnh quan trọng của các phương pháp dựa trên nguyên mẫu. Ngay cả khi con người hiểu được các nguyên mẫu và sự tương đồng của chúng với các bản vá đã kích hoạt của mẫu truy vấn thì quyết định cuối cùng có thể không như vậy. Ví dụ: một mô hình có thể chọn và sử dụng các nguyên mẫu không liên quan để phân loại chính xác một mẫu.

Điểm mới lạ chính của công việc này là một khuôn khổ mạnh mẽ hơn để đánh giá khả năng diễn giải của các mạng dựa trên nguyên mẫu một phần bằng cách sử dụng chú thích của con người. Một số phương pháp trước đây đã cố gắng thực hiện các đánh giá như vậy dựa trên số liệu tự động [10] và một số công trình khác đã thực hiện đánh giá khả năng diễn giải dựa trên con người đối với các loại phương pháp AI có thể giải thích khác [15], [16]. Công trình gần nhất là HIVE[12], công trình này gặp phải một số vấn đề được giải quyết trong cách tiếp cận của chúng tôi. Thông tin thêm về điều này sẽ theo sau trong phần tiếp theo.

Một điểm mới khác của công việc này là đề xuất ba số liệu và thử nghiệm có thể thực hiện được để đánh giá khả năng diễn giải của các bộ phân loại dựa trên nguyên mẫu từng phần. Chúng tôi tin rằng nếu một mô hình không đạt được những thử nghiệm này thì đó sẽ không phải là một mô hình có thể diễn giải tốt. Những điều này có thể hỗ trợ các nhà nghiên cứu trong tương lai trong việc cung cấp bằng chứng thay vì chỉ đưa ra các giả định về khả năng diễn giải các phương pháp tiếp cận của họ.

Cuối cùng, bộ thử nghiệm mở rộng của chúng tôi sử dụng Amazon Mechanical Turk bao gồm so sánh sáu phương pháp liên quan trên ba bộ dữ liệu. Theo hiểu biết tốt nhất của chúng tôi, đây là công trình toàn diện nhất để đánh giá khả năng diễn giải của các phương pháp đó trong một khuôn khổ thống nhất.