পার্ট-প্রোটোটাইপ ভিত্তিক ক্লাসিফায়ারগুলির ব্যাখ্যাযোগ্যতা: একটি মানবকেন্দ্রিক বিশ্লেষণ

লিঙ্কের টেবিল

বিমূর্ত এবং ভূমিকা

পটভূমির তথ্য

পদ্ধতি

প্রোটোটাইপ ব্যাখ্যাযোগ্যতা

প্রোটোটাইপ-কোয়েরি মিল

সিদ্ধান্ত গ্রহণের প্রক্রিয়ার ব্যাখ্যাযোগ্যতা

নিম্ন প্রোটোটাইপ গণনা প্রভাব

আলোচনা

বিমূর্ত

পার্ট-প্রোটোটাইপ নেটওয়ার্কগুলি সম্প্রতি বর্তমান ব্ল্যাক-বক্স ইমেজ ক্লাসিফায়ারগুলির একটি ব্যাখ্যাযোগ্য বিকল্প হিসাবে আগ্রহের পদ্ধতিতে পরিণত হয়েছে। যাইহোক, মানব ব্যবহারকারীদের দৃষ্টিকোণ থেকে এই পদ্ধতিগুলির ব্যাখ্যাযোগ্যতা পর্যাপ্তভাবে অন্বেষণ করা হয়নি। এই কাজে, আমরা মানব দৃষ্টিকোণ থেকে অংশ-প্রোটোটাইপ-ভিত্তিক মডেলগুলির ব্যাখ্যাযোগ্যতা মূল্যায়নের জন্য একটি কাঠামো তৈরি করেছি। প্রস্তাবিত কাঠামো তিনটি কর্মযোগ্য মেট্রিক্স এবং পরীক্ষা নিয়ে গঠিত। আমাদের কাঠামোর উপযোগিতা প্রদর্শনের জন্য, আমরা Amazon Mechanical Turk ব্যবহার করে একটি বিস্তৃত পরীক্ষা-নিরীক্ষা করেছি। তারা শুধুমাত্র বিভিন্ন অংশ-প্রোটোটাইপ-ভিত্তিক মডেলগুলির ব্যাখ্যাযোগ্যতা মূল্যায়নের ক্ষেত্রে আমাদের কাঠামোর ক্ষমতা দেখায় না, তবে তারা আমাদের জ্ঞানের সেরা হিসাবে, একটি ইউনিফাইড ফ্রেমওয়ার্কে এই জাতীয় পদ্ধতিগুলিকে মূল্যায়ন করার জন্য সবচেয়ে ব্যাপক কাজ।

ভূমিকা

যেহেতু কৃত্রিম বুদ্ধিমত্তা এবং মেশিন লার্নিং সমাজ এবং অর্থনীতির অনেক অংশে আরও সর্বব্যাপী হয়ে উঠেছে, স্বচ্ছতা, ন্যায্যতা এবং বিশ্বাসের প্রয়োজন বেড়েছে। অনেক অত্যাধুনিক পদ্ধতি এবং অ্যালগরিদম হল ব্ল্যাক বক্স যেখানে সিদ্ধান্ত নেওয়ার প্রক্রিয়া মানুষের কাছে অস্বচ্ছ৷ ব্যাখ্যাযোগ্য এবং ব্যাখ্যাযোগ্য কৃত্রিম বুদ্ধিমত্তা ব্ল্যাক-বক্স মডেলগুলির সিদ্ধান্তগুলি ব্যাখ্যা করে বা অন্তর্নিহিতভাবে নিজেরাই ব্যাখ্যাযোগ্য পদ্ধতিগুলি অফার করে এই সমস্যাটির সমাধান করার লক্ষ্য রাখে।

প্রোটোটাইপ-ভিত্তিক ক্লাসিফায়ার হল অন্তর্নিহিতভাবে ব্যাখ্যাযোগ্য পদ্ধতির একটি বিভাগ যা তাদের সিদ্ধান্ত নিতে প্রোটোটাইপিক্যাল উদাহরণ ব্যবহার করে। এটা ধরে নেওয়া হয় যে যতক্ষণ পর্যন্ত প্রোটোটাইপগুলি নিজেরাই একজন মানুষের দ্বারা বোধগম্য হয়, সিদ্ধান্তটি নিজেই ব্যাখ্যাযোগ্য[1]। প্রোটোটাইপ-ভিত্তিক ক্লাসিফায়ারগুলি নতুন আবিষ্কার নয়। ব্যাখ্যাযোগ্যতার প্রয়োজনীয়তা এত জরুরি হয়ে ওঠার অনেক আগে থেকেই অনেকের অস্তিত্ব ছিল[2-6]। সাম্প্রতিক বছরগুলিতে, নতুন পদ্ধতিগুলি প্রস্তাব করা হয়েছে যা একটি প্রোটোটাইপ ভিত্তিক ক্লাসিফায়ারের সিদ্ধান্ত গ্রহণের প্রক্রিয়ার সাথে নিউরাল নেটওয়ার্কগুলির শক্তি এবং প্রকাশযোগ্যতাকে একত্রিত করে প্রোটোটাইপিক্যাল নিউরাল নেট তৈরি করতে [7], [8], রাজ্যের সাথে প্রতিযোগিতামূলক ফলাফলে পৌঁছায়। শিল্প যখন প্রক্রিয়ায় অন্তর্নিহিতভাবে ব্যাখ্যাযোগ্য।

প্রোটোটাইপ-ভিত্তিক ক্লাসিফায়ারগুলির একটি নতুন উপশ্রেণি হল অংশ-প্রোটোটাইপ নেটওয়ার্ক। এই নেটওয়ার্কগুলি, সাধারণত ইমেজ শ্রেণীবিভাগের ডোমেনে কাজ করে, তাদের সিদ্ধান্ত নিতে সমগ্র ক্যোয়ারী ইমেজের বিপরীতে একটি ক্যোয়ারী নমুনার অঞ্চল ব্যবহার করে। ProtoPNet[9] হল এই ধরনের পদ্ধতিগুলির মধ্যে প্রথম যেটি অত্যাধুনিক নির্ভুলতা প্রদানের সময় চিত্র শ্রেণীবিভাগের জন্য সূক্ষ্ম-দানাযুক্ত ব্যাখ্যা প্রদান করে। চিত্র 1 কিভাবে একটি অংশ-প্রোটোটাইপ পদ্ধতি তার সিদ্ধান্ত নেয় তার একটি উদাহরণ দেখায়।

এই পদ্ধতিগুলি দ্বারা প্রদত্ত ব্যাখ্যা একে অপরের থেকে খুব আলাদা হতে পারে। এমনকি যখন ব্যাখ্যার সাধারণ বিন্যাস একই রকম হয়, তখনও অংশ-প্রোটোটাইপগুলি সম্পূর্ণ আলাদা হতে পারে। এটা অনুমান করা অস্বাভাবিক যে তারা একই স্তরের ব্যাখ্যাযোগ্যতা প্রদান করে। অতএব, তাদের ব্যাখ্যাযোগ্যতার মূল্যায়ন প্রয়োজন।

যদিও এই পদ্ধতিগুলির মধ্যে অনেকগুলি তাদের মডেলগুলির কার্যকারিতা মূল্যায়ন করে এবং সেগুলিকে শিল্পের অবস্থার সাথে তুলনা করে, খুব কমই তাদের পদ্ধতিগুলির ব্যাখ্যাযোগ্যতা বিশ্লেষণ করে। এই বিষয়ে বেশিরভাগ বিশ্লেষণ ব্যাখ্যাযোগ্যতা মূল্যায়নের জন্য স্বয়ংক্রিয় মেট্রিক্সের উপর নিবদ্ধ বলে মনে হয়[10]। এই ধরনের স্বয়ংক্রিয় মেট্রিক্স, যদিও দরকারী, ব্যাখ্যাযোগ্যতার মানুষের মূল্যায়নের জন্য প্রতিস্থাপন নয়। অন্যরা মানব-সহায়তা ডিবাগিং নিয়ে কাজ করেছে[11] কিন্তু পদ্ধতির ব্যাখ্যাযোগ্যতার সম্পূর্ণ মূল্যায়নের জন্য এটিকে প্রসারিত করেনি।

কিম এট আল। মানুষের দ্বারা চাক্ষুষ ধারণার মূল্যায়নের জন্য একটি পদ্ধতির প্রস্তাব করেছে এবং এমনকি ProtoPNet এবং ProtoTree[12]-এ পরীক্ষা-নিরীক্ষাও করেছে, কিন্তু তাদের মূল্যায়ন বেশ কিছু সমস্যার সম্মুখীন হয়েছে। কিম এট আল-এ পরীক্ষার স্কেল। ছোট, শুধুমাত্র একটি একক ডেটাসেট ব্যবহার করে শুধুমাত্র দুটি অংশ-প্রোটোটাইপ পদ্ধতি মূল্যায়ন করা হয়। সেই কাজের পরীক্ষামূলক নকশাটি মানব টীকাকারদের দ্বারা সূক্ষ্ম দানাদার রেটিংগুলির উপরও নির্ভর করে। এই ধরনের নকশা মানুষের মতামত পরিমাপের একটি অবিশ্বস্ত উপায় হতে পারে যখন প্রতিটি বিকল্পের অর্থ কী তা নিয়ে কোনো ঐক্যমত্য নেই [13]। এটি CUB ডেটাসেটে প্রোটোটাইপগুলির গুণমান পরিমাপ করার জন্য ক্লাস লেবেল ব্যবহার করেছে যদিও এমন কোনও ইঙ্গিত নেই যে মানব ব্যবহারকারীরা 200 টি শ্রেণীর পাখির মধ্যে পার্থক্যের ক্ষুদ্রতার সাথে পরিচিত ছিল। অবশেষে, এটি ProtoPNet এবং ProtoTree থেকে প্রোটোটাইপের ডিফল্ট আয়তক্ষেত্রাকার উপস্থাপনা ব্যবহার করেছে। প্রকৃত অ্যাক্টিভেশন হিটম্যাপের তুলনায় এই উপস্থাপনাগুলি অত্যধিক বিস্তৃত এবং মানব ব্যবহারকারীর কাছে বিভ্রান্তিকর হওয়ার ঝুঁকিপূর্ণ। ফলস্বরূপ, আমরা অংশ-প্রোটোটাইপ পদ্ধতিগুলির ব্যাখ্যাযোগ্যতা মূল্যায়নের জন্য পরীক্ষাগুলির একটি সেট সমন্বিত একটি মানব-কেন্দ্রিক বিশ্লেষণের প্রস্তাব করি।

গোল

একটি অংশ-প্রোটোটাইপ সিস্টেমের ব্যাখ্যাযোগ্যতা একটি সু-সংজ্ঞায়িত ধারণা নয়। এই কাজটিতে, আমরা তিনটি বৈশিষ্ট্যের উপর ফোকাস করি যা এই ধরনের সিস্টেমের ব্যাখ্যাযোগ্য হওয়ার জন্য থাকা উচিত।

• প্রোটোটাইপের নিজেই ব্যাখ্যাযোগ্যতা: একটি প্রোটোটাইপ যে ধারণাটি উল্লেখ করছে তা একজন মানুষের কাছে স্বীকৃত এবং বোধগম্য হওয়া উচিত। চিত্র 2 (a) একটি প্রোটোটাইপের একটি উদাহরণ দেখায় যা ব্যাখ্যাযোগ্য নয় কারণ এটি একটি অপ্রাসঙ্গিক পটভূমি অঞ্চলকে নির্দেশ করে৷ মেশিন লার্নিং পদ্ধতি এবং নিউরাল নেটওয়ার্ক, বিশেষ করে, তথ্যের বৈশিষ্ট্য সমন্বয়ের উপর ভিত্তি করে সঠিক সিদ্ধান্ত নিতে পারে যা একজন মানুষ বুঝতে পারে না। উপরন্তু, এই ধরনের বৈশিষ্ট্য উপস্থাপনা খুবই গুরুত্বপূর্ণ। একটি প্রোটোটাইপ একটি খুব অস্বাভাবিক ধারণাকে উল্লেখ করতে পারে কিন্তু এর উপস্থাপনা একজন মানুষকে ভুলভাবে বিশ্বাস করতে পারে যে তারা সিদ্ধান্তের পিছনে যুক্তি বোঝে।

• ক্যোয়ারী নমুনায় সংশ্লিষ্ট অঞ্চলের সাথে একটি প্রোটোটাইপের সাদৃশ্য: এমনকি যদি প্রোটোটাইপটি নিজেই একজন মানুষের দ্বারা সহজেই বোঝা যায়, কোয়েরি নমুনায় এটির সক্রিয়করণ প্রোটোটাইপের মতো একই ধারণা নাও দেখাতে পারে। চিত্র 2 (b) এই সমস্যার একটি উদাহরণ দেখায়। এটি গুরুত্বপূর্ণ কারণ এটি দেখায় যে প্রোটোটাইপগুলি যে এম্বেডিং স্পেসে থাকে তার কাঠামোগত সাদৃশ্য মানুষের সাদৃশ্য সম্পর্কে বোঝার সাথে সামঞ্জস্যপূর্ণ নয়। এটি একটি সমস্যা যা পূর্ববর্তী সাহিত্যে রিপোর্ট করা হয়েছে[14]।

• সিদ্ধান্ত গ্রহণের প্রক্রিয়ার ব্যাখ্যাযোগ্যতাও প্রোটোটাইপ-ভিত্তিক পদ্ধতির একটি গুরুত্বপূর্ণ দিক। এমনকি যদি প্রোটোটাইপগুলি এবং ক্যোয়ারী নমুনার সক্রিয় প্যাচগুলির সাথে তাদের মিল মানুষের দ্বারা বোঝা যায়, তবে চূড়ান্ত সিদ্ধান্ত নাও হতে পারে। উদাহরণস্বরূপ, একটি মডেল একটি নমুনাকে সঠিকভাবে শ্রেণীবদ্ধ করতে অসংলগ্ন প্রোটোটাইপ নির্বাচন এবং ব্যবহার করতে পারে।

এই কাজের মূল অভিনবত্ব হ'ল মানব টীকা ব্যবহার করে অংশ-প্রোটোটাইপ-ভিত্তিক নেটওয়ার্কগুলির ব্যাখ্যাযোগ্যতা মূল্যায়নের জন্য আরও শক্তিশালী কাঠামো। কিছু পূর্ববর্তী পদ্ধতি স্বয়ংক্রিয় মেট্রিক্সের উপর ভিত্তি করে এই ধরনের মূল্যায়ন করার চেষ্টা করেছে[10], এবং কিছু অন্যান্য কাজ অন্য ধরনের ব্যাখ্যাযোগ্য AI পদ্ধতির জন্য ব্যাখ্যাযোগ্যতার মানব-ভিত্তিক মূল্যায়নে কাজ করেছে[15], [16]। সবচেয়ে কাছের কাজ হল HIVE[12] যা আমাদের পদ্ধতিতে সমাধান করা বিভিন্ন সমস্যায় ভুগছে। এই বিষয়ে আরও পরবর্তী বিভাগে অনুসরণ করা হবে.

এই কাজের আরেকটি অভিনবত্ব হল পার্ট-প্রোটোটাইপ-ভিত্তিক ক্লাসিফায়ারগুলির ব্যাখ্যাযোগ্যতা মূল্যায়নের জন্য তিনটি কার্যযোগ্য মেট্রিক্স এবং পরীক্ষার প্রস্তাব। আমরা বিশ্বাস করি যে যদি একটি মডেল এই পরীক্ষায় ব্যর্থ হয় তবে এটি একটি ভাল ব্যাখ্যাযোগ্য মডেল হবে না। এগুলি ভবিষ্যতের গবেষকদের তাদের পদ্ধতির ব্যাখ্যাযোগ্যতা সম্পর্কে অনুমান করার পরিবর্তে প্রমাণ প্রদানে সহায়তা করতে পারে।

অবশেষে, আমাজন মেকানিক্যাল তুর্ক ব্যবহার করে আমাদের বিস্তৃত পরীক্ষায় তিনটি ডেটাসেটের ছয়টি সম্পর্কিত পদ্ধতির তুলনা অন্তর্ভুক্ত রয়েছে। আমাদের সর্বোত্তম জ্ঞান অনুসারে, এটি একটি ইউনিফাইড ফ্রেমওয়ার্কের মধ্যে এই জাতীয় পদ্ধতিগুলির ব্যাখ্যাযোগ্যতা মূল্যায়নের জন্য সবচেয়ে ব্যাপক কাজ।