पार्ट-प्रोटोटाइप आधारित क्लासिफायर की व्याख्या पर: एक मानव केंद्रित विश्लेषण

लिंक की तालिका

सार और परिचय

पृष्ठभूमि की जानकारी

क्रियाविधि

प्रोटोटाइप व्याख्या

प्रोटोटाइप-क्वेरी समानता

निर्णय लेने की प्रक्रिया की व्याख्या

कम प्रोटोटाइप गणना के प्रभाव

चर्चाएँ

अमूर्त

पार्ट-प्रोटोटाइप नेटवर्क हाल ही में कई मौजूदा ब्लैक-बॉक्स इमेज क्लासिफायर के लिए एक व्याख्यात्मक विकल्प के रूप में रुचि के तरीके बन गए हैं। हालाँकि, मानव उपयोगकर्ताओं के दृष्टिकोण से इन विधियों की व्याख्या को पर्याप्त रूप से नहीं खोजा गया है। इस कार्य में, हमने मानवीय दृष्टिकोण से पार्ट-प्रोटोटाइप-आधारित मॉडल की व्याख्या का मूल्यांकन करने के लिए एक रूपरेखा तैयार की है। प्रस्तावित रूपरेखा में तीन कार्रवाई योग्य मीट्रिक और प्रयोग शामिल हैं। हमारे ढांचे की उपयोगिता को प्रदर्शित करने के लिए, हमने Amazon Mechanical Turk का उपयोग करके प्रयोगों का एक व्यापक सेट किया। वे न केवल विभिन्न पार्ट-प्रोटोटाइप-आधारित मॉडलों की व्याख्या का आकलन करने में हमारे ढांचे की क्षमता को दर्शाते हैं, बल्कि वे, हमारे सर्वोत्तम ज्ञान के अनुसार, एकीकृत रूपरेखा में ऐसी विधियों के मूल्यांकन पर सबसे व्यापक कार्य भी हैं।

परिचय

चूंकि आर्टिफिशियल इंटेलिजेंस और मशीन लर्निंग समाज और अर्थव्यवस्था के कई हिस्सों में अधिक सर्वव्यापी हो गए हैं, इसलिए पारदर्शिता, निष्पक्षता और विश्वास की आवश्यकता बढ़ गई है। कई अत्याधुनिक विधियाँ और एल्गोरिदम ब्लैक बॉक्स हैं जहाँ निर्णय लेने की प्रक्रिया मनुष्यों के लिए अपारदर्शी है। व्याख्या योग्य और व्याख्या योग्य आर्टिफिशियल इंटेलिजेंस का उद्देश्य इस मुद्दे को उन विधियों की पेशकश करके संबोधित करना है जो या तो ब्लैक-बॉक्स मॉडल के निर्णयों की व्याख्या करते हैं या स्वयं स्वाभाविक रूप से व्याख्या योग्य हैं।

प्रोटोटाइप-आधारित क्लासिफायर स्वाभाविक रूप से व्याख्या करने योग्य विधियों की एक श्रेणी है जो अपने निर्णय लेने के लिए प्रोटोटाइपिक उदाहरणों का उपयोग करते हैं। यह माना जाता है कि जब तक प्रोटोटाइप स्वयं किसी व्यक्ति द्वारा समझ में आने योग्य होते हैं, तब तक निर्णय स्वयं व्याख्या योग्य होता है[1]। प्रोटोटाइप-आधारित क्लासिफायर कोई नया आविष्कार नहीं है। व्याख्या की आवश्यकता इतनी जरूरी होने से बहुत पहले से ही कई मौजूद थे[2–6]। हाल के वर्षों में, नए तरीके प्रस्तावित किए गए हैं जो प्रोटोटाइप आधारित क्लासिफायर की निर्णय लेने की प्रक्रिया के साथ तंत्रिका नेटवर्क की शक्ति और अभिव्यक्ति को जोड़ते हैं ताकि प्रोटोटाइपिक तंत्रिका जाल [7], [8] बनाए जा सकें, जो प्रक्रिया में स्वाभाविक रूप से व्याख्या करने योग्य होने के साथ-साथ अत्याधुनिक तकनीक के साथ प्रतिस्पर्धी परिणाम प्राप्त करते हैं।

प्रोटोटाइप-आधारित क्लासिफायर की एक नई उपश्रेणी पार्ट-प्रोटोटाइप नेटवर्क है। ये नेटवर्क, आमतौर पर छवि वर्गीकरण के क्षेत्र में काम करते हैं, अपने निर्णय लेने के लिए संपूर्ण क्वेरी छवि के बजाय क्वेरी नमूने के क्षेत्रों का उपयोग करते हैं। प्रोटोपनेट[9] ऐसी विधियों में से पहली है जिसने अत्याधुनिक सटीकता प्रदान करते हुए छवि वर्गीकरण के लिए बारीक-बारीक स्पष्टीकरण पेश किए। चित्र 1 एक उदाहरण दिखाता है कि कैसे एक पार्ट-प्रोटोटाइप विधि अपने निर्णय लेती है।

इन विधियों द्वारा दिए गए स्पष्टीकरण एक दूसरे से बहुत अलग हो सकते हैं। यहां तक कि जब स्पष्टीकरण का सामान्य लेआउट समान होता है, तो भाग-प्रोटोटाइप स्वयं बहुत अलग हो सकते हैं। यह मान लेना असामान्य है कि वे समान स्तर की व्याख्या प्रदान करते हैं। इसलिए, उनकी व्याख्या का मूल्यांकन आवश्यक है।

जबकि इनमें से कई विधियाँ अपने मॉडलों के प्रदर्शन का मूल्यांकन करती हैं और उनकी तुलना अत्याधुनिक तकनीक से करती हैं, कुछ ही अपनी विधियों की व्याख्या का विश्लेषण करती हैं। इस संबंध में अधिकांश विश्लेषण व्याख्या का आकलन करने के लिए स्वचालित मेट्रिक्स पर केंद्रित प्रतीत होता है[10]। ऐसे स्वचालित मेट्रिक्स, उपयोगी होते हुए भी, व्याख्या के मानवीय मूल्यांकन का विकल्प नहीं हैं। अन्य लोगों ने मानव-सहायता प्राप्त डिबगिंग पर काम किया है[11] लेकिन इसे विधि व्याख्या के पूर्ण मूल्यांकन तक नहीं बढ़ाया है।

किम एट अल ने मनुष्यों द्वारा दृश्य अवधारणाओं के मूल्यांकन के लिए एक विधि की पेशकश की और यहां तक कि प्रोटोपनेट और प्रोटोट्री पर प्रयोग भी किए [12], लेकिन उनके मूल्यांकन में कई मुद्दे हैं। किम एट अल में प्रयोगों का पैमाना छोटा है, केवल दो भाग-प्रोटोटाइप विधियों का मूल्यांकन केवल एक ही डेटासेट का उपयोग करके किया गया है। उस काम का प्रायोगिक डिजाइन मानव एनोटेटर्स द्वारा बारीक रेटिंग पर भी निर्भर करता है। इस प्रकार का डिज़ाइन मानवीय राय को मापने का एक अविश्वसनीय तरीका हो सकता है जब प्रत्येक विकल्प के अर्थ पर आम सहमति नहीं होती है [13]। इसने CUB डेटासेट में प्रोटोटाइप की गुणवत्ता को मापने के लिए क्लास लेबल का उपयोग किया, भले ही कोई संकेत नहीं था कि मानव उपयोगकर्ता 200 वर्गों के पक्षियों के बीच अंतर की बारीकियों से परिचित थे। अंत में, इसने प्रोटोपनेट और प्रोटोट्री से प्रोटोटाइप के डिफ़ॉल्ट आयताकार प्रतिनिधित्व का उपयोग किया। परिणामस्वरूप, हम आंशिक-प्रोटोटाइप विधियों की व्याख्यात्मकता का आकलन करने के लिए प्रयोगों के एक सेट से युक्त मानव-केंद्रित विश्लेषण का प्रस्ताव करते हैं।

लक्ष्य

पार्ट-प्रोटोटाइप सिस्टम की व्याख्या एक अच्छी तरह से परिभाषित अवधारणा नहीं है। इस काम में, हम तीन गुणों पर ध्यान केंद्रित करते हैं जो ऐसी प्रणालियों में व्याख्या योग्य होने के लिए होने चाहिए।

• प्रोटोटाइप की व्याख्या: प्रोटोटाइप जिस अवधारणा को संदर्भित करता है, वह मनुष्य के लिए पहचानने योग्य और समझने योग्य होनी चाहिए। चित्र 2 (ए) एक प्रोटोटाइप का उदाहरण दिखाता है जो व्याख्या योग्य नहीं है क्योंकि यह एक अप्रासंगिक पृष्ठभूमि क्षेत्र की ओर इशारा करता है। मशीन लर्निंग विधियाँ और तंत्रिका नेटवर्क, विशेष रूप से, डेटा में उन विशेषताओं के संयोजन के आधार पर सही निर्णय ले सकते हैं जिन्हें मनुष्य समझ नहीं सकता है। इसके अलावा, ऐसी विशेषताओं की प्रस्तुति बहुत महत्वपूर्ण है। एक प्रोटोटाइप एक बहुत ही असामान्य अवधारणा को संदर्भित कर सकता है लेकिन इसकी प्रस्तुति एक इंसान को गलत तरीके से यह विश्वास दिला सकती है कि वे किसी निर्णय के पीछे के तर्क को समझते हैं।

• क्वेरी सैंपल में संबंधित क्षेत्र के लिए प्रोटोटाइप की समानता: भले ही प्रोटोटाइप खुद को मानव द्वारा आसानी से समझा जा सकता है, लेकिन क्वेरी सैंपल पर इसका सक्रियण प्रोटोटाइप के समान अवधारणा नहीं दिखा सकता है। चित्र 2 (बी) इस समस्या का एक उदाहरण दिखाता है। यह महत्वपूर्ण है क्योंकि यह दर्शाता है कि प्रोटोटाइप जिस एम्बेडिंग स्पेस में रहते हैं, उसमें संरचनात्मक समानता समानता की मानवीय समझ के अनुकूल नहीं है। यह एक ऐसी समस्या है जिसकी रिपोर्ट पिछले साहित्य में दी गई है[14]।

• निर्णय लेने की प्रक्रिया की व्याख्या भी प्रोटोटाइप-आधारित विधियों का एक महत्वपूर्ण पहलू है। भले ही प्रोटोटाइप और क्वेरी नमूने के सक्रिय पैच के साथ उनकी समानता मनुष्यों द्वारा समझी जाती है, लेकिन अंतिम निर्णय शायद न समझा जाए। उदाहरण के लिए, एक मॉडल किसी नमूने को सही ढंग से वर्गीकृत करने के लिए असंबंधित प्रोटोटाइप का चयन और उपयोग कर सकता है।

इस कार्य की मुख्य नवीनता मानव एनोटेटर्स का उपयोग करके पार्ट-प्रोटोटाइप-आधारित नेटवर्क की व्याख्यात्मकता का मूल्यांकन करने के लिए एक अधिक मजबूत ढांचा है। कुछ पिछले तरीकों ने स्वचालित मेट्रिक्स [10] के आधार पर इस तरह के मूल्यांकन करने की कोशिश की है, और कुछ अन्य कार्यों ने अन्य प्रकार के व्याख्यात्मक एआई तरीकों [15], [16] के लिए व्याख्यात्मकता के मानव-आधारित मूल्यांकन पर काम किया है। सबसे करीबी काम HIVE [12] है जो हमारे दृष्टिकोण में संबोधित कई मुद्दों से ग्रस्त है। इस पर अगले भाग में और जानकारी दी जाएगी।

इस कार्य की एक और नवीनता भाग-प्रोटोटाइप-आधारित क्लासिफायर की व्याख्यात्मकता का मूल्यांकन करने के लिए तीन क्रियाशील मीट्रिक और प्रयोगों का प्रस्ताव है। हमारा मानना है कि यदि कोई मॉडल इन परीक्षणों में विफल रहता है, तो यह एक अच्छा व्याख्यात्मक मॉडल नहीं होगा। ये भविष्य के शोधकर्ताओं को उनके दृष्टिकोणों की व्याख्यात्मकता के बारे में केवल धारणाएँ बनाने के बजाय सबूत प्रदान करने में सहायता कर सकते हैं।

अंत में, अमेज़ॅन मैकेनिकल तुर्क का उपयोग करके हमारे प्रयोगों के व्यापक सेट में तीन डेटासेट पर छह संबंधित विधियों की तुलना शामिल है। हमारे सर्वोत्तम ज्ञान के अनुसार, एकीकृत ढांचे में ऐसी विधियों की व्याख्यात्मकता का मूल्यांकन करने पर यह सबसे व्यापक कार्य है।