ডেটা-লোডার ল্যান্ডস্কেপের একটি ওভারভিউ: আলোচনা

লিঙ্কের টেবিল

• বিমূর্ত এবং ভূমিকা
• ডেটালোডার
• পরীক্ষামূলক সেটআপ
• সংখ্যাসূচক ফলাফল
• আলোচনা
• সম্পর্কিত কাজ
• উপসংহার, স্বীকৃতি, এবং রেফারেন্স
• A. সংখ্যাসূচক ফলাফল Cont.

5. আলোচনা

এই কাজে, আমরা বিভিন্ন লাইব্রেরির মধ্যে পারফরম্যান্স তুলনা করার জন্য প্রধান হাতিয়ার হিসাবে সময় ব্যবহার করি। এ বিষয়ে বলার মতো বেশ কিছু কথা আছে। প্রথমত, আমরা লক্ষ্য করেছি যে চলমান সময়গুলি বেশ পরিবর্তনশীল এবং পটভূমি প্রক্রিয়াগুলির উপর নির্ভর করে যা নিয়ন্ত্রণ করা কঠিন। একই সময়ে, মাল্টি-জিপিইউ সংস্থানগুলিতে অ্যাক্সেস ব্যয়বহুল, যা চালানো যেতে পারে এমন পরীক্ষার সংখ্যা সীমিত করে। আদর্শভাবে, আমরা আরও পরামিতি (আরও কর্মী, আরও ব্যাচের আকার) সহ প্রতিটি পরীক্ষার তিনটির বেশি পুনরাবৃত্তি চালাতাম, কিন্তু আমাদের কাছে এর জন্য সংস্থান ছিল না। যেহেতু আমরা আমাদের সমস্ত ওপেনসোর্স কোড তৈরি করছি, তাই আমরা পাঠকদের তাদের নিজস্ব হার্ডওয়্যারে বেঞ্চমার্কগুলি চালানোর জন্য এবং ফলাফলগুলি রিপোর্ট করার জন্য আমন্ত্রণ জানাই৷ একই সময়ে, লাইব্রেরিগুলি মোটামুটি প্রায়ই আপডেট করা হয় এবং সংস্করণে পরিবর্তন নাটকীয়ভাবে এর কার্যকারিতা বৃদ্ধি বা হ্রাস করতে পারে।

উপরের পয়েন্টগুলির আলোকে, আমরা পাঠককে এই কাগজের গুণগত দিকগুলি অভ্যন্তরীণ করতে উত্সাহিত করি তবে সতর্ক থাকুন যে এখানে প্রাপ্ত সংখ্যাগুলি পরিবর্তনের প্রবণতা রয়েছে৷

দ্বিতীয়ত, একটি দিক যা তুলনা করা কঠিন তা হল এই প্রকল্পে বিবেচিত গ্রন্থাগারগুলির ব্যবহারের সহজতা। এই বেঞ্চমার্কে অন্তর্ভুক্ত বেশিরভাগ লাইব্রেরিগুলির ব্যাপক ডকুমেন্টেশন নেই এবং প্রাথমিকভাবে কংক্রিট উদাহরণগুলির উপর নির্ভর করে। ফলস্বরূপ, এই লাইব্রেরিতে বাস্তবায়ন তুচ্ছ নয় এবং অদক্ষতা প্রবণ। আমাদের কোড ওপেন সোর্স তৈরি করার সুবিধাগুলির মধ্যে একটি হল যে আমরা যে কোনও বিকাশকারীকে আমাদের কোড সনাক্ত করতে এবং উন্নত করার অনুমতি দিই। এটি বিশেষভাবে প্রাসঙ্গিক কারণ আমরা আশা করি যে এই প্রকল্পে তৈরি বেঞ্চমার্কগুলি সম্প্রদায়ের জন্য বয়লারপ্লেট কোড হিসাবে ব্যবহার করা যেতে পারে৷

আমরা লক্ষ্য করি যে অন্য সবগুলির চেয়ে ভাল লাইব্রেরি বলে মনে হয় না। পরিবর্তে, প্রত্যেকের নিজস্ব শক্তি আছে। FFCV-এর উদাহরণ বিবেচনা করুন: এটি আমাদের পরীক্ষায় দ্রুততম বলে মনে হয়, কিন্তু লেবেল রূপান্তরের জন্য সমর্থনের অভাব এটিকে এমন বৈশিষ্ট্যগুলির প্রয়োজন এমন প্রকল্পগুলিতে গ্রহণ করা থেকে বাধা দেয়।

আমরা ভবিষ্যতের কাজে একাধিক GPU জুড়ে ফিল্টারিং এবং প্রশিক্ষণের মধ্যে ইন্টারপ্লে বিশ্লেষণ করার আশা করি। একই সময়ে, GPU-র সংখ্যা বৃদ্ধির সাথে সাথে এই লাইব্রেরিগুলির স্কেলিং ক্ষমতাগুলি অন্বেষণ করা আকর্ষণীয় হবে৷ একইভাবে, DL প্রশিক্ষণ কর্মপ্রবাহের এলোমেলো ধাপে কর্মক্ষমতার পরিপ্রেক্ষিতে ডেটা লোডিং লাইব্রেরিগুলিকে বেঞ্চমার্ক করা খুবই আগ্রহের বিষয়, কারণ এটি মোট প্রশিক্ষণের সময়ের উপর একটি উল্লেখযোগ্য প্রভাব ফেলতে পারে, এবং এটির বাস্তবায়ন একটি অ-তুচ্ছ সমস্যা, যেখানে বিভিন্ন ধরণের পন্থা রয়েছে।

লাইব্রেরিগুলির উপর গবেষণা যা একটি দূরবর্তী সঞ্চয়স্থান থেকে ডেটা লোডিং প্রদান করে এবং তারা স্থানীয় স্টোরেজ পরীক্ষার সাথে তুলনামূলক ফলাফল দেখায় যা একটি নেটওয়ার্কে ডেটা স্ট্রিমিংয়ের জন্য একটি ক্যাশিং নীতি প্রণয়ন এবং ডিজাইন করার ধারণাটি অন্বেষণ করতে উত্সাহিত করে৷ সেই সেটিং-এ, একটি ডেটা পয়েন্ট (যেমন, ছবি) স্থানান্তর করার সময় কমানো হলে প্রশিক্ষণের সামগ্রিক সময়কে উল্লেখযোগ্যভাবে ছোট করা যায় (এবং নেটওয়ার্ক ব্যবহারের অর্থ প্রদান করা হলে সম্ভবত খরচ)। প্রশিক্ষণের সময় একটি নেটওয়ার্ক ডেটাসেট ক্যাশ করার ধারণা নতুন নয় (মোহন এট আল।, 2020)। তবুও, প্রায়শই ধরে নেওয়া হয় যে প্রশিক্ষণ এবং স্ট্রিমিং ডেটা নিয়ে আলোচনা করার সময় পুরো ডেটাসেট ক্যাশে করা যেতে পারে। তদ্ব্যতীত, এটি অনুমান করা হয় যে সমস্ত নমুনাগুলি প্রতি যুগে একবার ব্যবহার করা হবে (কুমার ও শিবথানু, 2020) যেমনটি ঐতিহ্যগতভাবে হয়। আমরা ক্যাশের আকার ছোট হলে কী ঘটে তা অন্বেষণ করতে এবং প্রতি যুগে একবার প্রতিটি ডেটাপয়েন্ট ব্যবহারের প্রয়োজনীয়তা দূর করতে আগ্রহী। এই ধরনের একটি সূত্র সক্রিয় শিক্ষা, তথ্য সংক্ষিপ্তকরণ, এবং পাঠ্যক্রম শিক্ষা থেকে ধার করা উচিত।