Parça Prototip Tabanlı Sınıflandırıcıların Yorumlanabilirliği Üzerine: İnsan Odaklı Bir Analiz

Bağlantı Tablosu

Özet ve Giriş

Arkaplan bilgisi

Metodoloji

Prototip Yorumlanabilirliği

Prototip sorgu benzerliği

Karar Verme Sürecinin Yorumlanabilirliği

Düşük Prototip Sayısının Etkileri

Tartışmalar

SOYUT

Kısmi prototip ağlar son zamanlarda mevcut kara kutu görüntü sınıflandırıcılarının çoğuna yorumlanabilir bir alternatif olarak ilgi çekici yöntemler haline geldi. Ancak bu yöntemlerin insan kullanıcılar açısından yorumlanabilirliği yeterince araştırılmamıştır. Bu çalışmada, parça prototip tabanlı modellerin yorumlanabilirliğini insan bakış açısıyla değerlendirmek için bir çerçeve tasarladık. Önerilen çerçeve, uygulanabilir üç ölçüm ve deneyden oluşmaktadır. Çerçevemizin kullanışlılığını göstermek için Amazon Mechanical Turk'ü kullanarak kapsamlı bir dizi deney gerçekleştirdik. Bunlar sadece çerçevemizin çeşitli parça prototip tabanlı modellerin yorumlanabilirliğini değerlendirme yeteneğini göstermekle kalmıyor, aynı zamanda bilgimiz dahilinde bu tür yöntemlerin birleşik bir çerçevede değerlendirilmesine yönelik en kapsamlı çalışmadır.

giriiş

Yapay Zeka ve Makine Öğrenimi toplumun ve ekonominin birçok kesiminde yaygınlaştıkça şeffaflığa, adalete ve güvene duyulan ihtiyaç artıyor. En son teknolojiye sahip yöntem ve algoritmaların çoğu, karar verme sürecinin insanlar için şeffaf olmadığı kara kutulardır. Yorumlanabilir ve Açıklanabilir Yapay Zeka, kara kutu modellerinin kararlarını açıklayan veya doğası gereği yorumlanabilir yöntemler sunarak bu konuyu ele almayı amaçlamaktadır.

Prototip tabanlı sınıflandırıcılar, kararlarını vermek için prototip örnekleri kullanan, doğası gereği yorumlanabilir yöntemlerden oluşan bir kategoridir. Prototiplerin kendisi bir insan tarafından anlaşılabildiği sürece kararın kendisinin de yorumlanabilir olduğu varsayılmaktadır[1]. Prototip tabanlı sınıflandırıcılar yeni buluşlar değildir. Birçoğu, yorumlanabilirlik ihtiyacının bu kadar acil hale gelmesinden çok önce de mevcuttu[2-6]. Son yıllarda, prototip sinir ağları[7], [8] oluşturmak için sinir ağlarının gücünü ve ifade edilebilirliğini prototip tabanlı bir sınıflandırıcının karar verme süreciyle birleştiren ve mevcut durumla rekabet edebilecek sonuçlara ulaşan daha yeni yöntemler önerilmiştir. sanat, süreç içerisinde doğası gereği yorumlanabilir niteliktedir.

Prototip tabanlı sınıflandırıcıların daha yeni bir alt kategorisi, kısmi prototip ağlardır. Genellikle görüntü sınıflandırma alanında çalışan bu ağlar, kararlarını vermek için sorgu görüntüsünün tamamı yerine sorgu örneğinin bölgelerini kullanır. ProtoPNet[9], son teknoloji doğruluğu sunarken görüntü sınıflandırması için ayrıntılı açıklamalar sunan bu tür yöntemlerden ilkidir. Şekil 1, parça prototip yönteminin kararlarını nasıl verdiğine dair bir örneği göstermektedir.

Bu yöntemlerin verdiği açıklamalar birbirinden çok farklı olabilir. Açıklamanın genel düzeni benzer olsa bile parça prototipleri büyük ölçüde farklı olabilir. Aynı düzeyde yorumlanabilirlik sunduklarını varsaymak alışılmadık bir durumdur. Bu nedenle yorumlanabilirliklerinin değerlendirilmesi gereklidir.

Bu yöntemlerin çoğu, kendi modellerinin performansını değerlendirip bunları en son teknolojiyle karşılaştırırken, çok azı yöntemlerinin yorumlanabilirliğini analiz eder. Bu bağlamdaki analizlerin çoğu, yorumlanabilirliği değerlendirmeye yönelik otomatik ölçümlere odaklanmış gibi görünüyor[10]. Bu tür otomatik ölçümler yararlı olsa da, yorumlanabilirliğin insan tarafından değerlendirilmesinin yerini almaz. Diğerleri insan destekli hata ayıklama[11] üzerinde çalıştı ancak bunu yöntemin yorumlanabilirliğinin tam bir değerlendirmesine genişletmediler.

Kim ve ark. görsel kavramların insanlar tarafından değerlendirilmesi için bir yöntem önerdi ve hatta ProtoPNet ve ProtoTree[12] üzerinde deneyler gerçekleştirdi, ancak bunların değerlendirilmesinde bir takım sorunlar yaşanıyor. Kim ve ark.'daki deneylerin ölçeği. küçüktür ve yalnızca tek bir veri kümesi kullanılarak değerlendirilen yalnızca iki parça prototip yöntemi vardır. Bu çalışmanın deneysel tasarımı aynı zamanda yorumlayıcılar tarafından yapılan ayrıntılı derecelendirmelere de dayanmaktadır. Bu tür bir tasarım, her seçeneğin ne anlama geldiği konusunda fikir birliği olmadığında insan görüşünü ölçmenin güvenilmez bir yolu olabilir[13]. İnsan kullanıcıların 200 kuş sınıfı arasındaki ayrımların ayrıntılarına aşina olduğuna dair hiçbir belirti olmamasına rağmen, CUB veri setindeki prototiplerin kalitesini ölçmek için sınıf etiketini kullandı. Son olarak ProtoPNet ve ProtoTree'deki prototiplerin varsayılan dikdörtgen gösterimini kullandı. Bu temsiller, gerçek aktivasyon ısı haritasıyla karşılaştırıldığında aşırı geniş olmaya ve insan kullanıcı için yanıltıcı olmaya eğilimlidir. Sonuç olarak, parça prototip yöntemlerinin yorumlanabilirliğini değerlendirmek için bir dizi deneyden oluşan insan merkezli bir analiz öneriyoruz.

Hedefler

Parça prototip sisteminin yorumlanabilirliği iyi tanımlanmış bir kavram değildir. Bu çalışmada bu tür sistemlerin yorumlanabilmesi için sahip olması gereken üç özelliğe odaklandık.

• Prototipin kendisinin yorumlanabilirliği: Bir prototipin atıfta bulunduğu kavram, insan tarafından tanınabilir ve anlaşılabilir olmalıdır. Şekil 2 (a), alakasız bir arka plan bölgesine işaret ettiği için yorumlanamayan bir prototip örneğini göstermektedir. Özellikle makine öğrenimi yöntemleri ve sinir ağları, verilerdeki bir insanın anlayamayabileceği özellik kombinasyonlarına dayalı olarak doğru kararlar verebilir. Ayrıca bu tür özelliklerin sunumu da oldukça önemlidir. Bir prototip çok alışılmadık bir kavrama atıfta bulunabilir, ancak sunumu bir insanın bir kararın ardındaki mantığı anladığına yanlış bir şekilde inanmasına neden olabilir.

• Prototipin sorgu örneğindeki ilgili bölgeye benzerliği: Prototipin kendisi insan tarafından kolaylıkla anlaşılsa bile sorgu örneğindeki aktivasyonu prototip ile aynı konsepti göstermeyebilir. Şekil 2(b)'de bu problemin bir örneği gösterilmektedir. Bu önemlidir çünkü prototiplerin bulunduğu yerleştirme alanındaki yapısal benzerliğin, insanın benzerlik anlayışıyla uyumlu olmadığını gösterir. Bu önceki literatürde bildirilen bir sorundur[14].

• Karar verme sürecinin kendisinin yorumlanabilirliği de prototipe dayalı yöntemlerin önemli bir yönüdür. Prototipler ve bunların sorgu örneğinin etkinleştirilen yamalarına olan benzerliği insanlar tarafından anlaşılsa bile nihai karar verilmeyebilir. Örneğin bir model, bir örneği doğru şekilde sınıflandırmak için ilgisiz prototipleri seçip kullanabilir.

Bu çalışmanın ana yeniliği, insan açıklayıcıları kullanan parça prototip tabanlı ağların yorumlanabilirliğini değerlendirmek için daha sağlam bir çerçevedir. Daha önceki bazı yöntemler, bu tür değerlendirmeleri otomatik ölçümlere dayalı olarak yapmayı denemiştir[10] ve diğer bazı çalışmalar, diğer açıklanabilir yapay zeka yöntemleri[15], [16] için yorumlanabilirliğin insan temelli değerlendirilmesi üzerinde çalışmıştır. En yakın çalışma, yaklaşımımızda ele alınan birçok sorundan muzdarip olan HIVE[12]'dir. Bu konuda daha fazla bilgi bir sonraki bölümde verilecektir.

Bu çalışmanın bir diğer yeniliği, parça prototip tabanlı sınıflandırıcıların yorumlanabilirliğini değerlendirmek için uygulanabilir üç ölçüm ve deney önerisidir. Bir modelin bu testleri geçememesi durumunda yorumlanabilir iyi bir model olmayacağına inanıyoruz. Bunlar gelecekteki araştırmacıların yaklaşımlarının yorumlanabilirliği hakkında varsayımlarda bulunmak yerine kanıt sağlamalarına yardımcı olabilir.

Son olarak, Amazon Mechanical Turk'ü kullanan kapsamlı deneylerimiz, üç veri kümesinde altı ilgili yöntemin karşılaştırmasını içermektedir. Bildiğimiz kadarıyla bu, bu tür yöntemlerin yorumlanabilirliğini birleşik bir çerçevede değerlendirmeye yönelik en kapsamlı çalışmadır.