Makine Öğreniminde Model Kalibrasyonu: Önemli Ama Göze Çarpan Bir Kavram

İçindekiler

• giriiş
• Model kalibrasyonunun arkasındaki konsept
• Model kalibrasyonunun bazı gerçek zamanlı uygulamaları
• Çözüm
• Referanslar

giriiş

Kalibrasyon - Makine öğrenimindeki en önemli kavramlardan biri olmasına rağmen, AI/ML alanına yeni başlayan meraklılar arasında yeterince konuşulmuyor. Kalibrasyon bize, özellikle sınıflandırma modellerinde, bir model tahminine ne kadar güvenebileceğimizi anlatır. Makine öğrenmesi sınıflandırıcılarının sayısal çıktılarının anlamlı yorumlanması için kalibrasyonun iyi anlaşılması bir zorunluluktur. Bu makalede, makine öğrenimi modeli kalibrasyonunun arkasındaki teoriyi ve bunun önemini bazı basit gerçek hayattan örneklerle tartışacağız.

Model kalibrasyonunun arkasındaki konsept

Bir makine öğrenimi modeli, kalibre edilmiş olasılıklar üretiyorsa kalibre edilir. Daha spesifik olarak, olasılıklar, p güvenine sahip bir sınıfın tahmininin zamanın yüzde 100*p'sinde doğru olduğu durumda kalibre edilir.

Karmaşık mı görünüyor?

Basit bir örnekle anlayalım:

Belirli bir günde yağmur yağıp yağmayacağını tahmin etmek için bir makine öğrenimi modeli oluşturmamız gerektiğini düşünelim. Yalnızca 2 olası sonuç olduğundan - "Yağmur" ve "Yağmur Yok", bunu ikili bir sınıflandırma modeli olarak düşünebiliriz.

Burada “Yağmur” 1 ile temsil edilen pozitif bir sınıftır ve “Yağmur Yok” ise 0 ile temsil edilen negatif bir sınıftır.

Belirli bir gün için modelin tahmini 1 ise o günün yağmurlu geçeceğinin beklendiğini düşünebiliriz.

Benzer şekilde, eğer modelin belirli bir gün için tahmini 0 ise o günün yağmurlu olmayacağının beklendiğini düşünebiliriz.

Gerçek zamanlı olarak, makine öğrenimi modelleri genellikle tahminleri bazı olasılık değerlerini temsil eden sayısal bir vektör olarak temsil eder.

Yani her zaman 0 veya 1 değerini almamız şart değil. Genellikle tahmin edilen değer 0,5'ten büyük veya ona eşitse 1, tahmin edilen değer 0,5'ten küçükse 0 olarak kabul edilir. .

Örneğin, modelin belirli bir gün için tahmini 0,66 ise bunu 1 olarak kabul edebiliriz. Benzer şekilde modelin belirli bir gün için tahmini 0,24 ise bunu 0 olarak kabul edebiliriz.

Modelimizin önümüzdeki 10 günün sonucunu şu şekilde tahmin ettiğini varsayalım:

Olasılık değeri 0,5'ten büyük veya ona eşitse tahminin "Yağmur" olduğunu görebiliriz.

Benzer şekilde olasılık değeri 0,5'ten küçükse tahminin "Yağmur Yok" olduğunu görebiliriz.

Şimdi istatistiksel soru şu:

“Olasılık değerleri sonuç için gerçek olasılık değerleri midir?”

Başka bir deyişle, eğer olasılık değerim 0,8 ise bu o günün yağmurlu olma ihtimalinin %80 olduğu anlamına mı gelir?

Eğer olasılık değerim 0,2 ise bu, günün yağmurlu olma ihtimalinin %20 olduğu anlamına mı gelir?

İstatistiksel olarak modelimin kalibre edildiğini iddia ediyorsam cevabım “Evet” olmalıdır.

Olasılık değerleri, çıktı sınıfını belirlemek için yalnızca eşik değerleri olmamalıdır. Bunun yerine, sonucun gerçek olasılığını temsil etmelidir.

Burada 1. Günün olasılık değeri 0,81 iken 10. Günün olasılık değeri yalnızca 0,76'dır. Bu, her iki günde de yağmur yağma ihtimali olmasına rağmen, 1. Günün yağmurlu olma ihtimalinin 10. Güne göre %5 daha fazla olduğu anlamına gelir. Bu, sonucun olasılıksal tahmininin gücünü gösterir. İyi bir istatistikçi, eğer böyle bir modele sahipse, buna benzer çok sayıda sonuçtan çok sayıda model çıkarımı yapacaktır.

İstatistikçilerin model kalibrasyonunu grafiksel olarak nasıl yorumladıklarını görelim.

0'dan 1'e kadar olan değerlerin X ekseninde eşit olarak bölündüğü buna benzer bir grafik düşünün.

Şimdi her grupta sonucu olasılık değerlerine göre çizin.

Örneğin,

0,6-0,8 numaralı kümelerde 4 veri noktamız var - 4. Gün, 8. Gün, 9. Gün ve 10. Gün.

Benzer şekilde diğer tüm kovalar için de aynı işlemi uygulayabiliriz.

Şu ana kadar sadece tahmin edilen değerleri çizdik.

Pozitif sınıfımız “Yağmur” olduğuna göre her bir kovadaki gerçek değeri “Yağmur” olan değerlerin türevini alalım.

Şimdi her grupta pozitif sınıfın kesrini bulun:

Bu aşamaya ulaşıldığında, bu kesirli değerleri Y ekseni boyunca bir çizgi olarak çizin.

Çizgi düzgün bir doğrusal yapıda değil. Bu, modelimizin iyi kalibre edilmediği anlamına gelir. İyi kalibre edilmiş bir modelin tablosu şöyle görünürdü:

İdeal olarak, iyi kalibre edilmiş bir model, 3. kovada (0,4-0,6) "Yağmur" olasılığının %40-%60 civarında olmasını bekler. Ancak modelimiz, sonucun “Yağmur” olma ihtimalinin yalnızca %30 olduğunu veriyor. Bu önemli bir sapmadır. Bu tür sapmaları diğer kovalarda da görmek mümkün.

Bazı istatistikçiler, modelin performansını değerlendirmek için kalibre edilmiş eğri ile modelin olasılık eğrisi arasındaki alanı kullanır. Alan küçüldüğünde, model eğrisi kalibre edilmiş eğriye daha yakın olacağından performans daha yüksek olacaktır.

Makine öğreniminde model kalibrasyonunun bazı gerçek zamanlı uygulamaları

ML uygulamalarının son kullanıcılarının etkili ve anlayışlı karar verme için model kalibrasyonuna bağlı olduğu birçok gerçek zamanlı senaryo vardır:

1. Bir e-ticaret platformu için sıralamaya dayalı bir model oluşturduğumuzu düşünelim. Bir model iyi kalibre edilmişse, öneri amacıyla olasılık değerlerine güvenilebilir. Örneğin model, kullanıcının A Ürününü beğenme ihtimalinin %80, B Ürününü beğenme ihtimalinin ise %65 olduğunu söylüyor. Dolayısıyla kullanıcıya ilk tercih olarak A Ürününü, B Ürününü ise kullanıcıya önerebiliriz. ikinci tercih olarak.

   
   

2. Klinik araştırmalar söz konusu olduğunda bazı doktorların ilaç geliştirdiğini düşünün. Model, tedavi için 2 ilacın çok etkili olduğunu öngörüyorsa - İlaç A ve İlaç B. Şimdi doktorlar, risk alamayacakları için listeden mevcut en iyi seçeneği seçmelidirler çünkü bu, tedavi için oldukça riskli bir denemedir. insan hayatı. Eğer model A İlacı için %95 ve B İlacı için %90 olasılık değeri veriyorsa o zaman doktorların A İlacını tercih edecekleri açıktır.
   

Çözüm

Bu makalede, model kalibrasyonunun teorik temellerini inceledik ve bazı basit gerçek hayattan örnekler aracılığıyla bir sınıflandırıcının kalibre edilip edilmediğini anlamanın önemini tartıştık. Makine öğrenimi modelleri için "Güvenilirlik" oluşturmak, araştırmacılar için genellikle onu geliştirmekten veya sunuculara dağıtmaktan daha büyük bir zorluktur. Tahmin edilen olasılığın ilgi çekici olduğu durumlarda model kalibrasyonu son derece değerlidir. Modelin tahminindeki belirsizliğin anlaşılmasını veya anlaşılmasını sağlar ve buna bağlı olarak modelin güvenilirliğinin, özellikle kritik uygulamalarda son kullanıcı tarafından anlaşılmasını sağlar.

Umarım bu yazı bu kavrama bir önsöz edinmenize ve önemini anlamanıza yardımcı olmuştur. Konuyu derinlemesine anlamak için referans bölümünde bahsedilen materyallere başvurabilirsiniz.

Referanslar

1. Kalibrasyon - Vikipedi
2. Gebel, Martin (2009). Sınıflandırıcı puanlarının olasılık uzayına çok değişkenli kalibrasyonu (PDF) (Doktora tezi). Dortmund Üniversitesi.
3. UM Garczarek "2004-11-23 tarihinde Wayback Machine'de arşivlendi ," Standardize Bölme Uzaylarında Sınıflandırma Kuralları, Tez, Dortmund Üniversitesi, 2002
4. . Hastie ve R. Tibshirani, "İkili bağlantıyla sınıflandırma. İçinde: MI Jordan, MJ Kearns ve SA Solla (ed.), Sinirsel Bilgi İşleme Sistemlerinde Gelişmeler, cilt 10, Cambridge, MIT Press, 1998.