Hiệu chỉnh mô hình trong Machine Learning: Một khái niệm quan trọng nhưng không rõ ràng

Mục lục

• Giới thiệu
• Khái niệm đằng sau hiệu chuẩn mô hình
• Một số ứng dụng thời gian thực của hiệu chỉnh mô hình
• Phần kết luận
• Người giới thiệu

Giới thiệu

Hiệu chuẩn- Mặc dù là một trong những khái niệm quan trọng nhất trong học máy nhưng vẫn chưa được nói đến đủ đối với những người mới bắt đầu đam mê lĩnh vực AI/ML. Hiệu chuẩn cho chúng ta biết mức độ chúng ta có thể tin tưởng vào một dự đoán của mô hình, đặc biệt là trong các mô hình phân loại. Nắm bắt tốt về hiệu chuẩn là điều cần thiết để giải thích ý nghĩa các kết quả đầu ra bằng số của các bộ phân loại học máy. Trong bài viết này, chúng ta sẽ thảo luận về lý thuyết đằng sau hiệu chỉnh mô hình máy học và tầm quan trọng của nó thông qua một số ví dụ thực tế đơn giản.

Khái niệm đằng sau hiệu chuẩn mô hình

Một mô hình học máy được hiệu chỉnh nếu nó tạo ra các xác suất được hiệu chỉnh. Cụ thể hơn, xác suất được hiệu chỉnh khi dự đoán về một lớp với độ tin cậy p đúng 100*p phần trăm thời gian

Có vẻ phức tạp?

Hãy để chúng tôi hiểu thông qua một ví dụ đơn giản:

Hãy xem xét rằng chúng ta cần xây dựng một mô hình học máy để dự đoán liệu trời có mưa hay không vào một ngày cụ thể. Vì chỉ có 2 kết quả có thể xảy ra - “Mưa” và “Không mưa”, chúng ta có thể coi đây là mô hình phân loại nhị phân.

Ở đây, “Rain” là một loại tích cực được biểu thị bằng 1 và “No Rain” là một loại tiêu cực được biểu thị bằng 0.

Nếu dự đoán của mô hình cho một ngày cụ thể là 1 thì chúng ta có thể xem xét rằng dự kiến ngày đó sẽ có mưa.

Tương tự, nếu dự đoán của mô hình cho một ngày cụ thể là 0 thì chúng ta có thể coi rằng mô hình đang mong đợi rằng ngày đó sẽ không mưa.

Trong thời gian thực, các mô hình học máy thường biểu thị dự đoán dưới dạng một vectơ số biểu thị một số giá trị xác suất.

Vì vậy, không nhất thiết là chúng ta sẽ luôn nhận được giá trị 0 hoặc 1. Thông thường, nếu giá trị dự đoán lớn hơn hoặc bằng 0,5 thì nó được coi là 1 và nếu giá trị dự đoán nhỏ hơn 0,5 thì nó được coi là 0 .

Ví dụ: nếu dự đoán của mô hình cho một ngày cụ thể là 0,66 thì chúng ta có thể coi đó là 1. Tương tự, nếu dự đoán của mô hình cho một ngày cụ thể là 0,24 thì chúng ta có thể coi đó là 0.

Giả sử rằng mô hình của chúng ta đã dự đoán kết quả trong 10 ngày sắp tới như sau:

Chúng ta có thể thấy rằng nếu giá trị xác suất lớn hơn hoặc bằng 0,5 thì dự đoán là “Mưa”.

Tương tự, chúng ta có thể thấy rằng nếu giá trị xác suất nhỏ hơn 0,5 thì dự đoán là “Không có mưa”.

Bây giờ, câu hỏi thống kê là -

“Các giá trị xác suất có phải là giá trị khả năng thực sự cho kết quả không?”

Nói cách khác, nếu tôi có giá trị xác suất là 0,8 thì điều đó có nghĩa là có 80% khả năng ngày đó sẽ mưa?

Nếu tôi có giá trị xác suất là 0,2 thì điều đó có nghĩa là có 20% khả năng ngày đó sẽ mưa?

Theo thống kê, nếu tôi tuyên bố rằng mô hình của tôi đã được hiệu chỉnh thì câu trả lời sẽ là “Có”.

Các giá trị xác suất không nên chỉ là các giá trị ngưỡng để quyết định loại đầu ra. Thay vào đó, nó nên đại diện cho khả năng thực sự của kết quả.

Ở đây, Ngày 1 có giá trị xác suất là 0,81 nhưng Ngày 10 có giá trị xác suất chỉ là 0,76. Điều này có nghĩa là mặc dù có khả năng mưa vào cả hai ngày, nhưng Ngày 1 có khả năng mưa lớn hơn 5% so với Ngày 10. Điều này cho thấy sức mạnh của dự báo xác suất của kết quả. Một nhà thống kê giỏi sẽ suy ra rất nhiều mẫu từ một số lượng lớn các kết quả tương tự như thế này nếu anh ta có một mô hình như thế này.

Hãy xem cách các nhà thống kê giải thích hiệu chuẩn mô hình theo cách đồ họa.

Hãy xem xét một biểu đồ như thế này với các giá trị từ 0 đến 1 được chia đều trên trục X-

Bây giờ, trong mỗi nhóm, vẽ kết quả theo các giá trị xác suất của chúng.

Ví dụ,

Trong các nhóm 0,6-0,8, chúng tôi có 4 điểm dữ liệu - Ngày 4, Ngày 8, Ngày 9 và Ngày 10.

Tương tự, chúng ta có thể làm theo quy trình tương tự cho tất cả các nhóm khác-

Cho đến bây giờ, chúng tôi chỉ vẽ các giá trị dự đoán.

Vì, lớp tích cực của chúng tôi là “Mưa”, Hãy để chúng tôi phân biệt các giá trị trong mỗi nhóm có giá trị thực là “Mưa”.

Bây giờ, hãy tìm phần nhỏ của lớp tích cực trong mỗi nhóm:

Khi đạt đến giai đoạn này, chỉ cần vẽ các giá trị phân số này dưới dạng một đường dọc theo trục Y-

Dòng này không ở trong một cấu trúc tuyến tính thích hợp. Điều này có nghĩa là mô hình của chúng tôi không được hiệu chỉnh tốt. Biểu đồ của một mô hình được hiệu chỉnh tốt sẽ trông như thế này-

Lý tưởng nhất là một mô hình được hiệu chỉnh tốt dự kiến xác suất “Mưa” vào khoảng 40%-60% trong nhóm thứ 3 (0,4-0,6). Tuy nhiên, mô hình của chúng tôi chỉ đưa ra xác suất 30% về kết quả là “Mưa”. Đây là một sai lệch đáng kể. Những loại sai lệch này cũng có thể được nhìn thấy trong các nhóm khác.

Một số nhà thống kê sử dụng khu vực giữa đường cong hiệu chỉnh và đường cong xác suất của mô hình để đánh giá hiệu suất của mô hình. Khi diện tích trở nên nhỏ hơn, hiệu suất sẽ cao hơn vì đường cong của mô hình sẽ gần với đường cong đã hiệu chỉnh hơn.

Một số ứng dụng thời gian thực của hiệu chỉnh mô hình trong học máy

Có rất nhiều tình huống thời gian thực trong đó người dùng cuối của các ứng dụng ML phụ thuộc vào hiệu chuẩn mô hình để đưa ra quyết định hiệu quả và sáng suốt, chẳng hạn như-

1. Hãy xem xét rằng chúng tôi đang xây dựng một mô hình dựa trên xếp hạng cho một nền tảng thương mại điện tử. Nếu một mô hình được hiệu chỉnh tốt thì các giá trị xác suất của nó có thể được tin cậy cho mục đích khuyến nghị. Ví dụ: mô hình nói rằng có 80% khả năng người dùng thích Sản phẩm A và 65% khả năng người dùng thích Sản phẩm B. Do đó, chúng tôi có thể đề xuất Sản phẩm A cho người dùng làm ưu tiên đầu tiên và Sản phẩm B như sở thích thứ hai.

   
   

2. Trong trường hợp thử nghiệm lâm sàng, hãy xem xét rằng một số bác sĩ đang phát triển thuốc. Nếu mô hình dự đoán rằng 2 loại thuốc rất hiệu quả trong điều trị - Thuốc A và Thuốc B. Bây giờ, các bác sĩ nên chọn tùy chọn tốt nhất có sẵn từ danh sách vì họ không thể mạo hiểm vì đây là một thử nghiệm có rủi ro cao đối phó với cuộc sống của con người. Nếu mô hình đưa ra giá trị xác suất là 95% cho Thuốc A và 90% cho Thuốc B thì các bác sĩ rõ ràng sẽ tiếp tục với Thuốc A.
   

Phần kết luận

Trong bài viết này, chúng ta đã xem xét cơ sở lý thuyết của hiệu chỉnh mô hình và thảo luận về tầm quan trọng của việc hiểu liệu một bộ phân loại có được hiệu chỉnh hay không thông qua một số ví dụ thực tế đơn giản. Xây dựng “Độ tin cậy” cho các mô hình học máy thường là một thách thức lớn hơn đối với các nhà nghiên cứu so với việc phát triển hoặc triển khai nó cho các máy chủ. Hiệu chỉnh mô hình là cực kỳ có giá trị trong trường hợp xác suất dự đoán được quan tâm. Nó cung cấp cái nhìn sâu sắc hoặc hiểu biết về sự không chắc chắn trong dự đoán của mô hình và do đó, độ tin cậy của mô hình được người dùng cuối hiểu, đặc biệt là trong các ứng dụng quan trọng.

Tôi hy vọng, bài viết này đã giúp bạn có lời nói đầu cho khái niệm này và hiểu được tầm quan trọng của nó. Bạn có thể tham khảo các tài liệu được đề cập trong phần tài liệu tham khảo để hiểu sâu hơn về nó.

Người giới thiệu

1. Hiệu chuẩn - Wikipedia
2. Gebel, Martin (2009). Hiệu chuẩn đa biến của điểm phân loại vào không gian xác suất (PDF) (luận án tiến sĩ). Đại học Dortmund.
3. UM Garczarek " Lưu trữ 2004-11-23 tại Wayback Machine , "Classification Rules in Standardized Partition Spaces, Dissertation, Universität Dortmund, 2002
4. . Hastie và R. Tibshirani, "Phân loại bằng cách ghép đôi. Trong: MI Jordan, MJ Kearns và SA Solla (eds.), Những tiến bộ trong Hệ thống xử lý thông tin thần kinh, tập 10, Cambridge, MIT Press, 1998.