머신러닝의 모델 보정: 중요하지만 눈에 띄지 않는 개념

목차

• 소개
• 모델 교정의 개념
• 모델 교정의 일부 실시간 적용
• 결론
• 참고자료

소개

교정 - 기계 학습에서 가장 중요한 개념 중 하나이지만 AI/ML 공간의 초보자 매니아들 사이에서는 충분히 설명되지 않습니다. 보정은 특히 분류 모델에서 모델 예측을 얼마나 신뢰할 수 있는지 알려줍니다. 기계 학습 분류기의 수치 출력을 의미 있게 해석하려면 보정을 잘 이해하는 것이 필요합니다. 이 기사에서는 몇 가지 간단한 실제 사례를 통해 기계 학습 모델 보정의 이면에 있는 이론과 그 중요성에 대해 논의하겠습니다.

모델 교정의 개념

기계 학습 모델은 보정된 확률을 생성하는 경우 보정됩니다. 보다 구체적으로, 신뢰도 p가 있는 클래스의 예측이 시간의 100*p 비율로 올바른 경우 확률이 보정됩니다.

복잡해 보이죠?

간단한 예를 통해 이해해 보겠습니다.

특정 날짜에 비가 올지 여부를 예측하기 위해 기계 학습 모델을 구축해야 한다고 가정해 보겠습니다. 가능한 결과는 "비"와 "비 없음"의 2가지뿐이므로 이를 이진 분류 모델로 간주할 수 있습니다.

여기서 “Rain”은 1로 표현되는 Positive 클래스이고, “No Rain”은 0으로 표현되는 Negative 클래스입니다.

특정 날짜에 대한 모델의 예측이 1이면 해당 날짜에 비가 올 것으로 예상된다고 간주할 수 있습니다.

마찬가지로 특정 날짜에 대한 모델의 예측이 0이면 해당 날짜에 비가 내리지 않을 것으로 예상한다고 간주할 수 있습니다.

실시간으로 기계 학습 모델은 예측을 일부 확률 값을 나타내는 숫자 벡터로 표현하는 경우가 많습니다.

따라서 항상 0 또는 1의 값을 얻을 필요는 없습니다. 일반적으로 예측 값이 0.5보다 크거나 같으면 1로 간주되고 예측 값이 0.5보다 작으면 0으로 간주됩니다. .

예를 들어 특정 날짜에 대한 모델 예측이 0.66이면 이를 1로 간주할 수 있습니다. 마찬가지로 특정 날짜에 대한 모델 예측이 0.24이면 0으로 간주할 수 있습니다.

우리 모델이 다음과 같이 향후 10일 동안의 결과를 예측했다고 가정해 보겠습니다.

확률 값이 0.5보다 크거나 같으면 예측은 "비"라는 것을 알 수 있습니다.

마찬가지로 확률 값이 0.5보다 작으면 예측은 "비 없음"임을 알 수 있습니다.

이제 통계적인 질문은 -

"확률 값은 결과에 대한 실제 가능성 값입니까?"

즉, 확률값이 0.8이라면 그날 비가 올 확률이 80%라는 뜻인가요?

확률값이 0.2라면 그날 비가 올 확률이 20%라는 뜻인가요?

통계적으로 내 모델이 보정되었다고 주장한다면 대답은 "예"여야 합니다.

확률값은 단순히 출력 등급을 결정하는 임계값이 되어서는 안 됩니다. 대신 결과의 실제 가능성을 나타내야 합니다.

여기서 1일차의 확률값은 0.81이지만 10일차의 확률값은 0.76에 불과합니다. 즉, 두 날 모두 비가 올 가능성이 있지만 1일차에는 10일차에 비가 올 확률이 5% 더 높다는 의미입니다. 이는 결과에 대한 확률론적 예측의 강도를 보여줍니다. 훌륭한 통계학자는 이와 같은 모델을 가지고 있다면 이와 유사한 수많은 결과로부터 많은 패턴을 추론할 것입니다.

통계학자들이 그래픽 방식으로 모델 보정을 어떻게 해석하는지 살펴보겠습니다.

0부터 1까지의 값을 X축에 균등하게 나눈 다음과 같은 그래프를 생각해 보세요.

이제 각 버킷에서 확률 값에 따라 결과를 플롯합니다.

예를 들어,

버킷 0.6-0.8에는 4일차, 8일차, 9일차, 10일차 등 4개의 데이터 포인트가 있습니다.

마찬가지로 다른 모든 버킷에도 동일한 절차를 따를 수 있습니다.

지금까지는 예측값만 그려봤습니다.

우리의 포지티브 클래스는 "Rain"이므로 실제 값이 "Rain"인 각 버킷의 값을 구별해 보겠습니다.

이제 각 버킷에서 양성 클래스의 비율을 찾습니다.

이 단계에 도달하면 이러한 분수 값을 Y축을 따라 선으로 표시합니다.

선이 적절한 선형 구조가 아닙니다. 이는 우리 모델이 잘 보정되지 않았음을 의미합니다. 잘 보정된 모델의 차트는 다음과 같습니다.

이상적으로 잘 보정된 모델은 세 번째 버킷(0.4-0.6)에서 약 40%-60%의 "비" 확률을 예상합니다. 그러나 우리 모델은 결과가 "비"일 확률을 30%만 제공합니다. 이는 상당한 편차입니다. 이러한 종류의 편차는 다른 버킷에서도 볼 수 있습니다.

일부 통계학자는 보정된 곡선과 모델의 확률 곡선 사이의 영역을 사용하여 모델의 성능을 평가합니다. 영역이 더 작아지면 모델 곡선이 보정된 곡선에 더 가까워지기 때문에 성능이 더 높아집니다.

기계 학습에서 모델 교정의 일부 실시간 적용

ML 애플리케이션의 최종 사용자가 다음과 같이 효과적이고 통찰력 있는 의사 결정을 위해 모델 보정에 의존하는 실시간 시나리오가 많이 있습니다.

1. 전자상거래 플랫폼을 위한 순위 기반 모델을 구축하고 있다고 가정해 보겠습니다. 모델이 잘 보정된 경우 추천 목적으로 모델의 확률 값을 신뢰할 수 있습니다. 예를 들어 모델은 사용자가 제품 A를 좋아할 확률이 80%이고 제품 B를 좋아할 확률이 65%라고 말합니다. 따라서 사용자에게 제품 A를 첫 번째 선호도로 추천하고 제품 B를 추천할 수 있습니다. 두 번째 선호로.

   
   

2. 임상시험의 경우 일부 의사가 약물을 개발하고 있다는 점을 고려하십시오. 모델이 2가지 약물(약물 A와 약물 B)이 치료에 매우 효과적이라고 예측하는 경우. 이제 의사는 위험을 감수할 수 없으므로 목록에서 가장 적합한 옵션을 선택해야 합니다. 인간의 삶. 모델이 약물 A에 대해 95%, 약물 B에 대해 90%의 확률 값을 제공하는 경우 의사는 분명히 약물 A를 사용할 것입니다.
   

결론

이 기사에서는 모델 보정의 이론적 기초를 살펴보고 몇 가지 간단한 실제 사례를 통해 분류기가 보정되었는지 여부를 이해하는 것의 중요성에 대해 논의했습니다. 기계 학습 모델에 대한 "신뢰성"을 구축하는 것은 이를 개발하거나 서버에 배포하는 것보다 연구원에게 더 큰 과제인 경우가 많습니다. 예측 확률이 중요한 경우 모델 보정은 매우 중요합니다. 이는 모델 예측의 불확실성에 대한 통찰력이나 이해를 제공하고 결과적으로 특히 중요한 응용 분야에서 최종 사용자가 이해할 모델의 신뢰성을 제공합니다.

이 글이 여러분이 이 개념에 대한 서문을 얻고 그 중요성을 이해하는 데 도움이 되기를 바랍니다. 참고 자료 섹션에 언급된 자료를 참조하여 해당 내용에 대한 심층적인 이해를 얻을 수 있습니다.

참고자료

1. 교정 - Wikipedia
2. 게벨, 마틴(2009). 확률 공간(PDF)(박사 학위 논문)에 대한 분류기 점수의 다변량 보정 . 도르트문트대학교.
3. UM Garczarek " 2004년 11월 23일에 Wayback Machine 에 보관됨 ", 표준화된 파티션 공간의 분류 규칙, 논문, 도르트문트 대학교, 2002
4. . Hastie 및 R. Tibshirani, "쌍 결합에 의한 분류. In: MI Jordan, MJ Kearns 및 SA Solla (eds.), 신경 정보 처리 시스템의 발전, 10권, Cambridge, MIT Press, 1998.