ডিপ লেক, গভীর শিক্ষার জন্য একটি লেকহাউস: পারফরম্যান্স বেঞ্চমার্ক

লিঙ্কের টেবিল

• বিমূর্ত এবং ভূমিকা
• বর্তমান চ্যালেঞ্জ
• টেনসর স্টোরেজ ফরম্যাট
• গভীর লেক সিস্টেম ওভারভিউ
• মেশিন লার্নিং ব্যবহারের ক্ষেত্রে
• কর্মক্ষমতা মানদণ্ড
• আলোচনা এবং সীমাবদ্ধতা
• সম্পর্কিত কাজ
• উপসংহার, স্বীকৃতি, এবং রেফারেন্স

6. পারফরমেন্স বেঞ্চমার্ক

এই বিভাগে, আমরা পরীক্ষামূলকভাবে ডিপ লেকের কর্মক্ষমতা প্রদর্শন করি বিন্যাসে ইনজেশনের বিন্দু থেকে শুরু করে অন্যান্য ডেটালোডার এবং ফর্ম্যাটের বিরুদ্ধে স্কেলে প্রশিক্ষণ পর্যন্ত। আমরা বিভিন্ন স্টোরেজ ব্যাকএন্ড থেকে স্ট্রিমিং ডেটাসেট তুলনা করি এবং ক্লাউডে প্রশিক্ষণের সময় পারফরম্যান্স লাভ এবং স্কেলেবিলিটি প্রদর্শন করি।

6.1 বিভিন্ন ফর্ম্যাটে ইনজেশনের গতি

FFHQ [43] ডেটাসেট থেকে 10,000টি ছবি অসঙ্কুচিত এবং NumPy ফর্ম্যাটে সংরক্ষণ করা হয়েছিল। প্রতিটি 1024x1024x3 কাঁচা চিত্র একটি 3MB অ্যারে। তারপর, চিত্রে দেখানো হিসাবে 6 চিত্রগুলি প্রতিটি বিন্যাসে ধারাবাহিকভাবে লেখা হয়েছিল। পারফরম্যান্স বাড়ানোর জন্য, আমরা Zarr [52] এবং N5 [24] ফর্ম্যাটে লেখার জন্য TensorStore [23] ব্যবহার করেছি। পরীক্ষাগুলি AWS c5.9xlarge মেশিনে করা হয়েছিল। ডিপ লেক অ্যারে ফর্ম্যাটের তুলনায় এবং ওয়েবডেটাসেট [১৯] এবং এফএফসিভি বেটন [৩৯] এর মতো বাইনারি ফর্ম্যাটের তুলনায় উল্লেখযোগ্যভাবে দ্রুত লেখার কার্যক্ষমতা অর্জন করে।

6.2 স্থানীয় ডেটালোডারের তুলনা

যেমন চিত্র 7-এ দেখানো হয়েছে ডিপ লেক একটি মডেল ছাড়া পাইটর্চ প্রশিক্ষণ লুপে দ্রুত ডেটা লোডিং অর্জন করে। পরীক্ষাটি একটি Nvidia V100 GPU সহ AWS P3.2x বৃহৎ উদাহরণে করা হয়েছিল

কার্ড ডেটাসেট এলোমেলোভাবে জেপিইজি ফাইল হিসাবে সংরক্ষিত 50,000 250x250x3 চিত্র তৈরি করেছে। লাইব্রেরিগুলির তালিকা যেখানে বেঞ্চমার্কগুলি করা হয়েছিল তা হল ডিপ লেক, এফএফসিভি [৩৯], কাঠবিড়ালি [৭৫], ওয়েবডেটাসেট [১৯] এবং স্থানীয় পাইটর্চ ডেটালোডার [৫৮]।

6.3 বিভিন্ন অবস্থান থেকে প্রবাহযোগ্য ডেটালোডার

চিত্র 8-এ দেখানো এই পরীক্ষায়, আমরা বিভাগ 6.2-এর মতো একই ডেটাসেট ব্যবহার করে দূরবর্তী স্ট্রিমিংয়ের জন্য বিভিন্ন স্টোরেজ ব্যাকএন্ড অন্বেষণ করি। MinIO [17] একটি স্থানীয় নেটওয়ার্কে অন্য মেশিনে চলছে। উল্লেখযোগ্যভাবে, ডিপ লেক অনুরূপ পারফরম্যান্স অর্জন করে যেন AWS S3 এর তুলনায় ডেটা মেশিনে স্থানীয়। ওয়েবডেটাসেট এবং ডিপ লেক উভয়ই থেকে ডেটা স্ট্রিম করার সময় উল্লেখযোগ্যভাবে ধীর হয়

MinIO AWS S3 এর তুলনায়। আরও বিশদ ডেটালোডার বেঞ্চমার্কের জন্য, আমরা ওফিডিস এট আল দ্বারা একটি সম্পূর্ণ ডেটালোডার ওভারভিউ অধ্যয়নের সুপারিশ করব। [৫৪]।

6.4 ক্লাউডে ইমেজনেট প্রশিক্ষণ

যেহেতু ডিপ লেক ক্লাউড-প্রথম হওয়ার জন্য তৈরি করা হয়েছিল, এই এবং পরবর্তী বিভাগে আমরা ক্লাউডের প্রশিক্ষণ মডেলগুলির জন্য এটির সুবিধাগুলি প্রদর্শন করি৷ আমরা ImageNet ডেটাসেট নিয়ে থাকি [35] এবং এটিকে AWS S3 [1] তে আসল এবং টেনসর স্টোরেজ ফর্ম্যাট হিসাবে সংরক্ষণ করি। ডেটাসেটে মোট 150GB তে 1.2 মিলিয়ন ছবি এবং লেবেল রয়েছে। ডিপ লেক কার্যত অনুরূপ প্রশিক্ষণ কর্মক্ষমতা অর্জন করে যেন ডেটা মেশিনে স্থানীয় ছিল। এটি 4x পর্যন্ত GPU কম্পিউট করার সময় এবং খরচ সাশ্রয় করে যেমন চিত্র 9 এ দেখানো হয়েছে

6.5 একটি বৃহৎ মাল্টি-মডেল ডেটাসেটের বিতরণ করা প্রশিক্ষণ

দ্বিতীয় পরীক্ষা হিসাবে, আমরা 400M ইমেজ-টেক্সট জোড়া এবং ট্রেন CLIP [60] ধারণকারী LAION ডেটাসেট [67] নিই, 1 বিলিয়ন প্যারামিটার সহ ইমেজ-টেক্সট এমবেডিং মডেল। আসল ডেটাসেট হল প্যারকেট ফাইলগুলির একটি টেবিল যার একটি কলাম ইমেজ URL গুলি রয়েছে৷ উৎস থেকে ডেটাসেট ডাউনলোড করতে 100 ঘণ্টা সময় লেগেছে, যখন টেনসর স্টোরেজ ফরম্যাটে ইনজেশন করতে সময় লেগেছে মাত্র 6 ঘণ্টা, মোট আকার 1.9TB। মার্কিন-মধ্য অঞ্চলে GPU মেশিন প্রশিক্ষণের সময় ডেটাসেটটি মার্কিন-পূর্ব অঞ্চলের AWS-এ সংরক্ষণ করা হয়েছে। চিত্র 10-এ যেমন দেখানো হয়েছে ডিপ লেক একই অঞ্চলে প্রতি মেশিনে 80,000 ইমেজ/সেকেন্ড পর্যন্ত মডেল ছাড়াই 16টি Nvidia A100 GPU-তে 5,100টি ছবি/সেকেন্ড স্ট্রিমিং করে উচ্চ GPU ব্যবহার অর্জন করে।