Calibration de modèle dans l'apprentissage automatique : un concept important mais discret

Table des matières

• Introduction
• Le concept derrière l'étalonnage du modèle
• Quelques applications en temps réel de la calibration de modèles
• Conclusion
• Références

Introduction

Étalonnage - Bien qu'il s'agisse de l'un des concepts les plus importants de l'apprentissage automatique, on n'en parle pas assez parmi les passionnés débutants dans l'espace AI/ML. Le calibrage nous indique à quel point nous pouvons faire confiance à une prédiction de modèle, en particulier dans les modèles de classification. Avoir une bonne compréhension de l'étalonnage est une nécessité pour l'interprétation significative des sorties numériques des classificateurs d'apprentissage automatique. Dans cet article, nous discuterons de la théorie derrière l'étalonnage du modèle d'apprentissage automatique et de son importance à travers quelques exemples simples et réels.

Le concept derrière l'étalonnage du modèle

Un modèle d'apprentissage automatique est calibré s'il produit des probabilités calibrées. Plus précisément, les probabilités sont calibrées là où une prédiction d'une classe avec confiance p est correcte 100*p pourcentage du temps

Ça vous paraît compliqué ?

Comprenons à travers un exemple simple :

Considérons que nous devons construire un modèle d'apprentissage automatique pour prédire s'il pleuvra ou non un jour particulier. Puisqu'il n'y a que 2 résultats possibles - "Pluie" et "Pas de pluie", nous pouvons considérer cela comme un modèle de classification binaire.

Ici, "Rain" est une classe positive qui est représentée par 1 et "No Rain" est une classe négative qui est représentée par 0.

Si la prédiction du modèle pour un jour particulier est de 1, nous pouvons considérer que l'on s'attend à ce que le jour soit pluvieux.

De même, si la prédiction du modèle pour un jour particulier est 0, nous pouvons considérer qu'il s'attend à ce que le jour ne soit pas pluvieux.

En temps réel, les modèles d'apprentissage automatique représentent souvent la prédiction sous la forme d'un vecteur numérique représentant certaines valeurs de probabilité.

Ainsi, il n'est pas nécessaire que nous obtenions toujours une valeur de 0 ou 1. Habituellement, si la valeur prédite est supérieure ou égale à 0,5, elle est considérée comme 1 et si la valeur prédite est inférieure à 0,5, elle est considérée comme 0. .

Par exemple, si la prédiction du modèle pour un jour particulier est de 0,66, nous pouvons la considérer comme 1. De même, si la prédiction du modèle pour un jour particulier est de 0,24, nous pouvons la considérer comme 0.

Supposons que notre modèle prédise le résultat pour les 10 jours à venir comme ceci :

Nous pouvons voir que si la valeur de probabilité est supérieure ou égale à 0,5, la prédiction est "Pluie".

De même, nous pouvons voir que si la valeur de probabilité est inférieure à 0,5, la prédiction est "Pas de pluie".

Maintenant, la question statistique est -

« Les valeurs de probabilité sont-elles de vraies valeurs de probabilité pour le résultat ? »

En d'autres termes, si j'ai une valeur de probabilité de 0,8, cela signifie-t-il qu'il y a 80 % de chances que la journée soit pluvieuse ?

Si j'ai une valeur de probabilité de 0,2, cela signifie-t-il qu'il y a 20 % de chances que la journée soit pluvieuse ?

Statistiquement, si je prétends que mon modèle est calibré, la réponse devrait être "Oui".

Les valeurs de probabilité ne doivent pas être de simples valeurs de seuil pour décider de la classe de sortie. Au lieu de cela, il devrait représenter la probabilité réelle du résultat.

Ici, le jour 1 a une valeur de probabilité de 0,81 mais le jour 10 a une valeur de probabilité de seulement 0,76. Cela signifie que bien qu'il y ait un risque de pluie les deux jours, le Jour 1 a 5 % plus de chance que le Jour 10 d'être pluvieux. Cela montre la force de la prévision probabiliste du résultat. Un bon statisticien déduira de nombreux modèles à partir d'un grand nombre de résultats similaires à celui-ci s'il dispose d'un modèle comme celui-ci.

Voyons comment les statisticiens interprètent graphiquement le calibrage du modèle.

Considérez un graphique comme celui-ci avec les valeurs de 0 à 1 divisées également sur l'axe X-

Maintenant, dans chaque seau, tracez le résultat en fonction de leurs valeurs de probabilité.

Par example,

Dans les buckets 0.6-0.8, nous avons 4 points de données - Jour 4, Jour 8, Jour 9 et Jour 10.

De même, nous pouvons suivre la même procédure pour tous les autres seaux-

Jusqu'à présent, nous n'avons tracé que des valeurs prédites.

Puisque notre classe positive est "Rain", différencions les valeurs dans chaque seau dont la valeur réelle est "Rain".

Maintenant, trouvez la fraction de classe positive dans chaque seau :

Une fois cette étape atteinte, il suffit de tracer ces valeurs fractionnaires sous la forme d'une ligne le long de l'axe Y-

La ligne n'est pas dans une structure linéaire appropriée. Cela signifie que notre modèle n'est pas bien calibré. Le graphique d'un modèle bien calibré aurait ressemblé à ceci-

Idéalement, un modèle bien calibré prévoit une probabilité de "pluie" d'environ 40 % à 60 % dans le 3ème seau (0,4-0,6). Cependant, notre modèle ne donne qu'une probabilité de 30 % qu'un résultat soit la "pluie". Il s'agit d'un écart important. Ces types d'écart peuvent également être observés dans d'autres seaux.

Certains statisticiens utilisent l'aire entre la courbe calibrée et la courbe de probabilité du modèle pour évaluer les performances du modèle. Lorsque la zone devient plus petite, les performances seront meilleures car la courbe du modèle sera plus proche d'une courbe calibrée.

Quelques applications temps réel de la calibration de modèles en machine learning

Il existe de nombreux scénarios en temps réel dans lesquels les utilisateurs finaux des applications ML dépendent de l'étalonnage du modèle pour une prise de décision efficace et perspicace, telle que-

1. Considérons que nous construisons un modèle basé sur le classement pour une plateforme de commerce électronique. Si un modèle est bien calibré, ses valeurs de probabilité peuvent être fiables à des fins de recommandation. Par exemple, le modèle indique qu'il y a 80 % de chances que l'utilisateur aime le produit A et qu'il y a 65 % de chances que l'utilisateur aime le produit B. Par conséquent, nous pouvons recommander le produit A à l'utilisateur comme première préférence et le produit B comme deuxième préférence.

   
   

2. Dans le cas des essais cliniques, considérez que certains médecins développent des médicaments. Si le modèle prédit que 2 médicaments sont très efficaces pour le traitement - le médicament A et le médicament B. Maintenant, les médecins doivent choisir la meilleure option disponible dans la liste car ils ne peuvent pas prendre de risque car il s'agit d'un essai très risqué traitant de vie humaine. Si le modèle donne une valeur de probabilité de 95 % pour le médicament A et de 90 % pour le médicament B, les médecins iront évidemment de l'avant avec le médicament A.
   

Conclusion

Dans cet article, nous avons passé en revue la base théorique de l'étalonnage du modèle et discuté de l'importance de comprendre si un classifieur est calibré ou non à travers quelques exemples simples de la vie réelle. Construire la « fiabilité » des modèles d'apprentissage automatique est souvent un défi plus important pour les chercheurs que de le développer ou de le déployer sur les serveurs. L'étalonnage du modèle est extrêmement précieux dans les cas où la probabilité prédite est intéressante. Il donne un aperçu ou une compréhension de l'incertitude dans la prédiction du modèle et, à son tour, la fiabilité du modèle à comprendre par l'utilisateur final, en particulier dans les applications critiques.

J'espère que cet article vous a aidé à obtenir une préface à ce concept et à comprendre sa criticité. Vous pouvez vous référer aux matériaux mentionnés dans la section de référence pour obtenir une compréhension approfondie de la même chose.

Références

1. Étalonnage - Wikipédia
2. Gebel, Martin (2009). Calibrage multivarié des scores de classifieur dans l'espace de probabilité (PDF) (thèse de doctorat). L'Université de Dortmund.
3. UM Garczarek " Archivé le 23/11/2004 à la Wayback Machine ", Règles de classification dans les espaces de partition standardisés, Dissertation, Universität Dortmund, 2002
4. . Hastie et R. Tibshirani, « Classification par couplage par paires. Dans : MI Jordan, MJ Kearns et SA Solla (eds.), Advances in Neural Information Processing Systems, volume 10, Cambridge, MIT Press, 1998.