ডেটা-লোডার ল্যান্ডস্কেপের একটি ওভারভিউ: সম্পর্কিত কাজ

লিঙ্কের টেবিল

• বিমূর্ত এবং ভূমিকা
• ডেটালোডার
• পরীক্ষামূলক সেটআপ
• সংখ্যাসূচক ফলাফল
• আলোচনা
• সম্পর্কিত কাজ
• উপসংহার, স্বীকৃতি, এবং রেফারেন্স
• A. সংখ্যাসূচক ফলাফল Cont.

6. সম্পর্কিত কাজ

এই বিভাগটি গভীর শিক্ষার লাইব্রেরি, মডেল এবং কাঠামোর মানদণ্ডের জন্য সম্প্রদায়ের বিভিন্ন প্রচেষ্টার বর্ণনা করে।

গভীর শিক্ষার সরঞ্জাম এবং পদ্ধতিগুলি বেঞ্চমার্ক করার জন্য কাজের একটি বড় অংশ বিদ্যমান। MLPerf (Mattson et al., 2020) হল আধুনিক ML কাজের চাপের জন্য যুক্তিযুক্তভাবে সবচেয়ে জনপ্রিয় ML বেঞ্চমার্কিং প্রকল্প যা প্রশিক্ষণ এবং অনুমান উভয়কেই লক্ষ্য করে, বিভিন্ন ধরনের AI টাস্ক বিস্তৃত। প্রদত্ত নির্ভুলতা স্তরে পৌঁছানোর জন্য প্রয়োজনীয় প্রশিক্ষণের সময় লেখকরা তাদের উদ্দেশ্য মেট্রিক হিসাবে ব্যবহার করেন। এই মেট্রিকের জন্য বর্ধিত গণনামূলক সংস্থান প্রয়োজন এবং ডেটালোডার পরামিতি পরীক্ষা করার জন্য উপযুক্ত নয়। DeepBench (Baidu-Research, 2020) হল Baidu রিসার্চের একটি ওপেনসোর্স প্রকল্প যা গভীর শিক্ষার স্ট্যাকের মধ্যে কার্নেল-স্তরের ক্রিয়াকলাপের উপর দৃষ্টি নিবদ্ধ করে; এটি লাইব্রেরিতে বাস্তবায়িত এবং অন্তর্নিহিত হার্ডওয়্যারে সরাসরি সম্পাদিত হিসাবে পৃথক ক্রিয়াকলাপগুলির কার্যকারিতা (যেমন, ম্যাট্রিক্স গুণন) বেঞ্চমার্ক করে। একইভাবে, AI ম্যাট্রিক্স (Zhang et al., 2019) মৌলিক অপারেটরগুলিকে কভার করতে মাইক্রোবেঞ্চমার্ক ব্যবহার করে, সম্পূর্ণভাবে সংযুক্ত এবং অন্যান্য সাধারণ স্তরগুলির জন্য কার্যক্ষমতা পরিমাপ করে এবং সিন্থেটিক বেঞ্চমার্ক অফার করে বাস্তব কাজের চাপের বৈশিষ্ট্যগুলির সাথে মেলে।

ফ্রেমওয়ার্কের তুলনা: এই বিভাগে বেঞ্চমার্কিং এবং বিভিন্ন ডিপ লার্নিং ফ্রেমওয়ার্ক, যেমন PyTorch, TensorFlow ইত্যাদির তুলনা করার প্রচেষ্টা অন্তর্ভুক্ত রয়েছে।

Deep500 (Ben-Nun et al., 2019), লেখকরা DL-প্রশিক্ষণ কর্মক্ষমতা পরিমাপের জন্য একটি মডুলার সফ্টওয়্যার কাঠামো প্রদান করে; কাস্টমাইজ করার সময়, এতে হাইপারপ্যারামিটার বেঞ্চমার্কিংয়ের অভাব রয়েছে এবং এটি নতুন লাইব্রেরি এবং ওয়ার্কফ্লোগুলি যোগ করার এবং পরীক্ষা করার জন্য একটি সহজ-ব্যবহারযোগ্য উপায় প্রদান করে না। AIBench (Gao et al., 2020), এবং DAWNBench (Coleman et al., 2019) উভয়ই এন্ড-টু-এন্ড বেঞ্চমার্ক, যার শেষ-থেকে-এন্ড পারফরম্যান্স পরিমাপ করার জন্য পরবর্তীটি প্রথম বহু-প্রবেশকারী বেঞ্চমার্ক প্রতিযোগিতা। গভীর শিক্ষার সিস্টেম। MLPerf-এর মতো, কেউই তাদের কর্মপ্রবাহে বিকল্প লোডিং লাইব্রেরির প্রভাব পরীক্ষা করে না। (Wu et al., 2019), লেখকরা বিভিন্ন সমান্তরাল কম্পিউটিং লাইব্রেরি এবং ব্যাচের আকারের জন্য CPU এবং মেমরি ব্যবহারের ধরণগুলির একটি পদ্ধতিগত বিশ্লেষণ উপস্থাপন করেছেন এবং সঠিকতা এবং প্রশিক্ষণের দক্ষতার উপর তাদের প্রভাব। এই বিশ্লেষণ আমাদের কাজের কাছাকাছি; যাইহোক, এটি নতুন লাইব্রেরির সাথে ইন্টারঅ্যাক্ট করার জন্য ওপেন সোর্স রিসোর্স প্রদান করে না।

(Shi et al., 2016), লেখকরা বিভিন্ন নিউরাল নেটওয়ার্কের কর্মক্ষমতার উপর ভিত্তি করে গভীর শিক্ষার কাঠামোর তুলনা করেছেন (যেমন, সম্পূর্ণভাবে সংযুক্ত, কনভোল্যুশনাল, এবং পৌনঃপুনিক নিউরাল নেটওয়ার্ক)। dPRO (Hu et al., 2022) একটি প্রোফাইলার ব্যবহার করে বিতরণ করা (মাল্টি-জিপিইউ) প্রশিক্ষণের মানদণ্ডের উপর ফোকাস করে যা একাধিক ফ্রেমওয়ার্ক জুড়ে বিতরণ করা DNN প্রশিক্ষণের রানটাইম ট্রেস সংগ্রহ করে। DLBench (HKBU-এ Heterogeneous Computing Lab, 2017) হল ক্যাফে, টেনসরফ্লো এবং এমএক্সনেটের মতো বিভিন্ন গভীর শিক্ষার সরঞ্জাম পরিমাপের জন্য একটি বেঞ্চমার্ক কাঠামো। (Liu et al., 2018) লেখকরা মডেল পারফরম্যান্সে (সময় এবং নির্ভুলতা) প্রতিটি কাঠামোর দ্বারা ডিফল্ট কনফিগারেশনের প্রভাব অধ্যয়ন করে, ডেটাসেট-নির্দিষ্ট বৈশিষ্ট্যের সাথে DNN প্যারামিটার এবং হাইপারপ্যারামিটারের জটিল মিথস্ক্রিয়া প্রদর্শন করে। তবুও, পরীক্ষাগুলি প্রতিটি ফ্রেমওয়ার্কের শুধুমাত্র ডিফল্ট কনফিগারেশন অন্তর্ভুক্ত করে এবং অ-ডিফল্ট সেটিংসের কোনো বিশ্লেষণের অভাব রয়েছে। (Wu et al., 2018), লেখক ফ্রেমওয়ার্কের ডিফল্ট কনফিগারেশন পরীক্ষা করেন এবং প্রতিটি ডেটাসেটের জন্য সর্বোত্তমগুলি খুঁজে বের করার চেষ্টা করেন; তারা ডেটা লোডিং প্রক্রিয়াও পরীক্ষা করে কিন্তু তৃতীয় পক্ষের লাইব্রেরি মূল্যায়ন করে না। এই অনুচ্ছেদে পূর্বে প্রকাশিত সমস্ত কাজ, যদিও তারা আমাদের কাজের সাথে অসংখ্য মিল বহন করে, তাদের সাথে এটির একটি উল্লেখযোগ্য পার্থক্য রয়েছে; তারা এই কাগজে বর্ণিত ডেটা লোডিংয়ের জন্য PyTorch বা লাইব্রেরির ইকোসিস্টেমে কোনও বিশ্লেষণ বা বেঞ্চমার্কিং পরিচালনা করে না, যা ভূমিকায় বলা হয়েছে, বর্তমানে সবচেয়ে জনপ্রিয় গভীর শিক্ষার কাঠামোগুলির মধ্যে একটি যা শিল্প এবং একাডেমিয়া উভয় ক্ষেত্রেই ব্যাপকভাবে ব্যবহৃত হয়। .

বিভিন্ন DNN আর্কিটেকচার এবং হার্ডওয়্যারের তুলনা: ParaDNN (Wang et al., 2020) টার্গেট প্ল্যাটফর্মে চালানোর জন্য প্যারামিটারাইজড এন্ড-টু-এন্ড মডেল তৈরি করে, যেমন অন্তর্নিহিত হার্ডওয়্যারের সীমানাকে চ্যালেঞ্জ করার জন্য ব্যাচের আকারের ভিন্নতা, কিন্তু ফোকাস করে বিশেষায়িত প্ল্যাটফর্মের তুলনা (TPU v2/v3) এবং ডিভাইস আর্কিটেকচার (TPU, GPU, CPU)। ParaDNN-এর সাথে প্রাসঙ্গিক হল (Bianco et al., 2018) এর কাজ, যা বিভিন্ন কম্পিউটেশনাল রিসোর্স সহ হার্ডওয়্যার সিস্টেমের বিশ্লেষণের উপর ভিত্তি করে ব্যবহারিক স্থাপনা এবং অ্যাপ্লিকেশনগুলিতে রিসোর্স সীমাবদ্ধতার প্রতিক্রিয়া জানাতে উপযুক্ত আর্কিটেকচার নির্বাচন করার জন্য একটি ব্যাপক টুল প্রদান করে। যাইহোক, এটি বাস্তবায়িত ডিপ লার্নিং ফ্রেমওয়ার্কের চেয়ে ডিপ লার্নিং মডেলের ডিজাইনে বেশি মনোযোগ দেয়। যদিও Fathom (Adolf et al., 2016) এবং TBD Suite (Zhu et al., 2018) উভয়ই বিস্তৃত বিভিন্ন ধরনের কাজ এবং বিভিন্ন কাজের চাপ জুড়ে সম্পূর্ণ মডেল আর্কিটেকচারের মূল্যায়নের উপর ফোকাস করে, তারা এগুলোর উপর সীমাবদ্ধ এবং রাষ্ট্রের জন্য মানদণ্ডের অভাব রয়েছে। -অফ-দ্য-আর্ট প্রশিক্ষণ উদ্ভাবন।

অন্যান্য ডিভাইস: AI বেঞ্চমার্ক (Ignatov et al., 2018) যুক্তিযুক্তভাবে প্রথম মোবাইল-ইনফারেন্স বেঞ্চমার্ক স্যুট। যাইহোক, এর ফলাফলগুলি শুধুমাত্র অ্যান্ড্রয়েড স্মার্টফোনগুলিতে ফোকাস করে এবং একটি সারাংশ স্কোর প্রদান করার সময় শুধুমাত্র লেটেন্সি পরিমাপ করে যা স্পষ্টভাবে গুণমানের লক্ষ্য নির্দিষ্ট করতে ব্যর্থ হয়। (Hadidi et al., 2019) কার্যকর করার সময়, শক্তি খরচ এবং তাপমাত্রার দৃষ্টিকোণ থেকে DNN-এর ইন-দ্য-এজ ইনফারেন্স তদন্ত করে। (Tao et al., 2018) বিভিন্ন হার্ডওয়্যার আচরণের সাথে কনফিগারেশন কভার করে, যেমন শাখা পূর্বাভাস হার এবং ডেটা পুনঃব্যবহারের দূরত্ব, এবং বুদ্ধিমত্তা প্রসেসর এবং হার্ডওয়্যার প্ল্যাটফর্মের নির্ভুলতা, কর্মক্ষমতা এবং শক্তি মূল্যায়ন করে। এই দুটি কাজই এজ ডিভাইস এবং ইন্টেলিজেন্স প্রসেসরের মতো বিভিন্ন ডিভাইসে স্থির করা হয়েছে, যা এই কাজের সুযোগের বাইরে।