डेटा-लोडर परिदृश्य का अवलोकन: निष्कर्ष, आभार और संदर्भ

लिंक की तालिका

• सार और परिचय
• डेटा लोडर
• प्रयोगात्मक स्थापना
• संख्यात्मक परिणाम
• बहस
• संबंधित कार्य
• निष्कर्ष, आभार और संदर्भ
• ए. संख्यात्मक परिणाम जारी

7। निष्कर्ष

इस पेपर में, हमने Pytorch लाइब्रेरी के वर्तमान परिदृश्य का पता लगाया जो मशीन लर्निंग प्रैक्टिशनर्स को अपने डेटासेट को अपने मॉडल में लोड करने की अनुमति देता है। ये लाइब्रेरी बढ़ी हुई गति से लेकर डेटा के केवल एक सबसेट के दृश्य बनाने और रिमोट स्टोरेज से डेटा लोड करने जैसी कई सुविधाएँ प्रदान करती हैं। हमारा मानना है कि रिमोट लोडिंग इन सभी सुविधाओं के लिए सबसे ज़्यादा आशाजनक है क्योंकि यह डेटा स्टोरेज और मॉडल ट्रेनिंग के डी-कपलिंग को सक्षम बनाता है। हालाँकि सार्वजनिक इंटरनेट पर लोडिंग की गति स्थानीय डिस्क से स्वाभाविक रूप से धीमी है, लेकिन डीप लेक जैसी कुछ लाइब्रेरी ने उल्लेखनीय परिणाम दिखाए (समय में केवल 13% की वृद्धि)। अधिकांश भाग के लिए, हमें मल्टी-GPU के लिए FFCV और नेटवर्क लोडिंग के लिए डीप लेक को छोड़कर लाइब्रेरी में प्रदर्शन में कोई खास अंतर नहीं मिला, जिसने उल्लेखनीय रूप से अच्छा प्रदर्शन किया। हालाँकि, हमने देखा कि इनमें से अधिकांश लाइब्रेरी के लिए दस्तावेज़ आसानी से उपलब्ध या व्यापक नहीं हैं, जिसके परिणामस्वरूप गलत कॉन्फ़िगर किए गए सेटअप हो सकते हैं। चूँकि अच्छे अभ्यास मिलना मुश्किल है, इसलिए प्रोग्रामर किसी दूसरे डेटालोडर में जो अच्छा काम करता है उसका उपयोग कर सकता है, जिसे नई लाइब्रेरी में काम करने की ज़रूरत नहीं है। इस बिंदु पर, प्रदर्शन लाभ छोटे से मध्यम नौकरियों के लिए मौजूदा कोड बेस के माइग्रेशन को उचित ठहराने के लिए पर्याप्त नहीं लगते हैं। बड़ी नौकरियों के लिए, तेज़ लाइब्रेरी में से किसी एक पर स्विच करने के लिए महत्वपूर्ण लागत में कमी हो सकती है। अंत में, हमारा मानना है कि मशीन लर्निंग अनुप्रयोगों के लिए डिज़ाइन किया गया एक अभिनव कैशिंग सिस्टम वास्तव में अलग-अलग डेटासेट मॉडल सिस्टम की दृष्टि को साकार करने में अंतिम टुकड़ा हो सकता है। किसी भी ऐसे दृष्टिकोण को डेटासेट सारांश और सक्रिय सीखने पर मौजूदा ज्ञान का निर्माण करना होगा।

आभार

लेखक इस परियोजना के विकास के दौरान उनके समर्थन और अंतर्दृष्टि के लिए एक्टिवलूप टीम को धन्यवाद देना चाहते हैं। लेखक कुछ प्रयोगों को चलाने के लिए अपने संसाधनों के लिए ट्रायोलैब्स और एक्टिवलूप दोनों को भी धन्यवाद देना चाहते हैं।

प्रतिक्रिया दें संदर्भ

अबादी, एम., अग्रवाल, ए., बरहम, पी., ब्रेवडो, ई., चेन, जेड., सिट्रो, सी., कोराडो, जीएस, डेविस, ए., डीन, जे., डेविन, एम., गेमावत, एस., गुडफेलो, आई., हार्प, ए., इरविंग, जी., इसार्ड, एम., जिया, वाई., जोजफोविच, आर., कैसर, एल., कुडलुर, एम., लेवेनबर्ग, जे., माने, डी., मोंगा, आर., मूर, एस., मरे, डी., ´ ओलाह, सी., शूस्टर, एम., श्लेंस, जे., स्टीनर, बी., सुत्स्केवर, आई., तलवार, के., टकर, पी., वानहोके, वी., वासुदेवन, वी., विएगास, एफ., विनयाल्स, ओ., वार्डन, पी., वॉटनबर्ग, एम., ´ विके, एम., यू, वाई., और झेंग, एक्स. टेंसरफ्लो: विषम प्रणालियों पर बड़े पैमाने पर मशीन लर्निंग, 2015. यूआरएल https://www.tensorflow.org/. सॉफ्टवेयर tensorflow.org से उपलब्ध है।

एडोल्फ, आर., रामा, एस., रीगन, बी., वेई, जी.-वाई., और ब्रूक्स, डी. फैथम: आधुनिक डीप लर्निंग विधियों के लिए संदर्भ कार्यभार। 2016 IEEE इंटरनेशनल सिम्पोजियम ऑन वर्कलोड कैरेक्टराइजेशन (IISWC), पृष्ठ 1-10 में। IEEE, 2016।

Baidu-रिसर्च. डीपबेंच, 2020. URL https:// github.com/baidu-research/DeepBench.

बेन-नन, टी., बेस्टा, एम., ह्यूबर, एस., ज़ियोगास, एएन, पीटर, डी., और होफ़लर, टी. उच्च-प्रदर्शन और पुनरुत्पादनीय गहन शिक्षण के लिए एक मॉड्यूलर बेंचमार्किंग बुनियादी ढाँचा। 2019 IEEE अंतर्राष्ट्रीय समानांतर और वितरित प्रसंस्करण संगोष्ठी (IPDPS), पृष्ठ 66-77 में। IEEE, 2019।

बियान्को, एस., कैडेन, आर., सेलोना, एल., और नेपोलेटानो, पी. प्रतिनिधि डीप न्यूरल नेटवर्क आर्किटेक्चर का बेंचमार्क विश्लेषण। IEEE एक्सेस, 6:64270–64277, 2018

बुस्लाव, ए., इग्लोविकोव, वी.आई., ख्वेडचेन्या, ई., परिनोव, ए., ड्रुज़िनिन, एम., और कलिनिन, ए.ए. एल्बुमेंटेशन: तेज़ और लचीली छवि वृद्धि। सूचना, 11(2): 125, 2020।

कोलमैन, सी., कांग, डी., नारायणन, डी., नारदी, एल., झाओ, टी., झांग, जे., बैलिस, पी., ओलुकोटुन, के., रे, सी., और ज़हरिया, ´एम. डॉनबेंच का विश्लेषण, एक टाइम-टू-एक्यूरेसी मशीन लर्निंग प्रदर्शन बेंचमार्क। ACM SIGOPS ऑपरेटिंग सिस्टम रिव्यू, 53(1):14–25, 2019।

गाओ, डब्ल्यू., तांग, एफ., झान, जे., लैन, सी., लुओ, सी., वांग, एल., दाई, जे., काओ, जेड., ज़ियोनग, एक्स., जियांग, जेड., एट अल. ऐबेंच: एक चुस्त डोमेन-विशिष्ट बेंचमार्किंग पद्धति और एक एआई बेंचमार्क सूट। arXiv प्रीप्रिंट arXiv:2002.07162, 2020।

हदीदी, आर., काओ, जे., ज़ी, वाई., असगरी, बी., कृष्णा, टी., और किम, एच. कमर्शियल एज डिवाइस पर डीप न्यूरल नेटवर्क की तैनाती की विशेषताएँ। 2019 IEEE इंटरनेशनल सिम्पोजियम ऑन वर्कलोड कैरेक्टराइजेशन (IISWC), पृष्ठ 35-48 में। IEEE, 2019।

हंबार्डज़ुम्यान, एस., तुली, ए., घुकास्यान, एल., रहमान, एफ., टॉपच्यान, एच., इसयान, डी., हरूट्युनयान, एम., हकोब्यान, टी., स्ट्रानिक, आई., और बुनियात्यान, डी. डीप लेक: डीप लर्निंग के लिए एक लेकहाउस, 2022. यूआरएल https://arxiv.org/abs/2209.10785.

एचकेबीयू में हेटेरोजेनस कंप्यूटिंग लैब, डी. डीएलबेंच, 2017. यूआरएल https://github.com/hclhkbu/ dlbench.

हिंटन, जी., श्रीवास्तव, एन., और स्वर्स्की, के. मशीन लर्निंग के लिए न्यूरल नेटवर्क लेक्चर 6ए मिनी-बैच ग्रेडिएंट डिसेंट का अवलोकन। उद्धृत, 14(8):2, 2012.

हू, एच., जियांग, सी., झोंग, वाई., पेंग, वाई., वू, सी., झू, वाई., लिन, एच., और गुओ, सी. डीप्रो: वितरित डीएनएन प्रशिक्षण में तेजी लाने के लिए एक सामान्य प्रदर्शन निदान और अनुकूलन टूलकिट। मशीन लर्निंग और सिस्टम की कार्यवाही, 4:623–637, 2022।

इग्नाटोव, ए., टिमोफ़्टे, आर., चौ, डब्ल्यू., वांग, के., वू, एम., हार्टले, टी., और वैन गूल, एल. एआई बेंचमार्क: एंड्रॉइड स्मार्टफ़ोन पर डीप न्यूरल नेटवर्क चलाना। कंप्यूटर विज़न (ईसीसीवी) कार्यशालाओं पर यूरोपीय सम्मेलन की कार्यवाही में, पृष्ठ 0-0, 2018।

क्रिज़ेव्स्की, ए., हिंटन, जी., एट अल. छोटी छवियों से सुविधाओं की कई परतों को सीखना। 2009.

कुमार, ए.वी. और सिवथानु, एम. क्विवर: डीप लर्निंग के लिए एक सूचित स्टोरेज कैश। 18वें USENIX कॉन्फ्रेंस ऑन फाइल एंड स्टोरेज टेक्नोलॉजीज (FAST 20) में, पृष्ठ 283-296, सांता क्लारा, CA, फरवरी 2020। USENIX एसोसिएशन। आईएसबीएन 978-1-939133-12-0। URL https://www.usenix.org/conference/fast20/presentation/kumar।

लेक्लेर, जी., इलियास, ए., एंगस्ट्रॉम, एल., पार्क, एस.एम., सलमान, एच., और मैड्री, ए. ffcv. https://github.com/libffcv/ffcv/, 2022. कमिट xxxxxxx.

ली, एस., झाओ, वाई., वर्मा, आर., सालपेकर, ओ., नूर्डुइस, पी., ली, टी., पास्ज़के, ए., स्मिथ, जे., वॉन, बी., दमानिया, पी., एट अल. पाइटॉर्च वितरित: डेटा समानांतर प्रशिक्षण में तेजी लाने के अनुभव। arXiv प्रीप्रिंट arXiv:2006.15704, 2020.

लिन, टी.-वाई., मैयर, एम., बेलोंगी, एस., हेस, जे., पेरोना, पी., रामनन, डी., डॉलर, पी., और ज़िटनिक, सीएल माइक्रोसॉफ्ट कोको: ´ संदर्भ में सामान्य वस्तुएँ। कंप्यूटर विज़न पर यूरोपीय सम्मेलन में, पृष्ठ 740-755। स्प्रिंगर, 2014।

लियू, एल., वू, वाई., वेई, डब्ल्यू., काओ, डब्ल्यू., साहिन, एस., और झांग, क्यू. बेंचमार्किंग डीप लर्निंग फ्रेमवर्क: डिजाइन संबंधी विचार, मेट्रिक्स और उससे आगे। 2018 IEEE 38वें इंटरनेशनल कॉन्फ्रेंस ऑन डिस्ट्रिब्यूटेड कंप्यूटिंग सिस्टम्स (ICDCS) में, पृष्ठ 1258-1269। IEEE, 2018.

मैटसन, पी., चेंग, सी., डायमोस, जी., कोलमैन, सी., मिकिकेविसियस, पी., पैटरसन, डी., टैंग, एच., वेई, जी.-वाई., बैलिस, पी., बिट्टोर्फ, वी., एट अल. एमएलपीआरएफ प्रशिक्षण बेंचमार्क। मशीन लर्निंग और सिस्टम की कार्यवाही, 2:336–349, 2020।

मोहन, जे., फणीशायी, ए., रानीवाला, ए., और चिदंबरम, वी. डीएनएन प्रशिक्षण में डेटा स्टॉल का विश्लेषण और शमन, 2020. यूआरएल https://arxiv.org/abs/2007.06775.

पास्ज़के, ए., ग्रॉस, एस., मासा, एफ., लेरर, ए., ब्रैडबरी, जे., चानन, जी., किलीन, टी., लिन, जेड., गिमेलशेन, एन., एंटीगा, एल., एट अल. पाइटॉर्च: एक अनिवार्य शैली, उच्च-प्रदर्शन गहन शिक्षण लाइब्रेरी। तंत्रिका सूचना प्रसंस्करण प्रणालियों में प्रगति, 32, 2019।

PyTorch कोर टीम। PyTorch: PyTorch दस्तावेज़। PyTorch।

शि, एस., वांग, क्यू., जू, पी., और चू, एक्स. अत्याधुनिक डीप लर्निंग सॉफ्टवेयर टूल्स की बेंचमार्किंग। 2016 में क्लाउड कंप्यूटिंग और बिग डेटा (CCBD) पर 7वें अंतर्राष्ट्रीय सम्मेलन में, पृष्ठ 99-104। IEEE, 2016।

ताओ, जे.-एच., डू, जेड.-डी., गुओ, क्यू., लैन, एच.-वाई., झांग, एल., झोउ, एस.-वाई., जू, एल.-जे., लियू, सी., लियू, एच.-एफ., टैंग, एस., एट अल. बेंचिप: बेंचमार्किंग इंटेलिजेंस प्रोसेसर। जर्नल ऑफ कंप्यूटर साइंस एंड टेक्नोलॉजी, 33(1):1–23, 2018।

टीम, AD हब: AI के लिए डेटासेट प्रारूप। किसी भी आकार के AI डेटासेट बनाने, संग्रहीत करने, उन पर सहयोग करने और उन्हें बड़े पैमाने पर एमएल फ्रेमवर्क में स्ट्रीम करने के लिए एक सरल API। GitHub। नोट: https://github.com/activeloopai/Hub, 2022a.

टीम, एसडी स्क्विरल: एक पायथन लाइब्रेरी जो एमएल टीमों को सहयोगात्मक, लचीले और कुशल तरीके से डेटा साझा करने, लोड करने और बदलने में सक्षम बनाती है। GitHub. नोट: https://github.com/merantix-momentum/squirrelcore, 2022b. doi: 10.5281/zenodo.6418280.

TorchData. Torchdata: लचीली और प्रदर्शनकारी डेटा पाइपलाइनों के आसानी से निर्माण के लिए सामान्य मॉड्यूलर डेटा लोडिंग प्राइमेटिव्स की एक प्रोटोटाइप लाइब्रेरी। https: //github.com/pytorch/data, 2021.

वांग, वाई., वेई, जी.-वाई., और ब्रूक्स, डी. डीप लर्निंग हार्डवेयर और सॉफ्टवेयर प्लेटफॉर्म के विश्लेषण के लिए एक व्यवस्थित पद्धति। मशीन लर्निंग और सिस्टम की कार्यवाही, 2:30–43, 2020।

वेबडाटासेट. वेबडाटासेट प्रारूप. https://github.com/webdataset/webdataset, 2013.

वू, वाई., काओ, डब्ल्यू., साहिन, एस., और लियू, एल. डीप लर्निंग फ्रेमवर्क के प्रायोगिक लक्षण और विश्लेषण। 2018 IEEE इंटरनेशनल कॉन्फ्रेंस ऑन बिग डेटा (बिग डेटा), पीपी. 372-377। IEEE, 2018.

वू, वाई., लियू, एल., पु, सी., काओ, डब्ल्यू., साहिन, एस., वेई, डब्ल्यू., और झांग, क्यू. सेवा ढांचे के रूप में गहन शिक्षण का तुलनात्मक माप अध्ययन। IEEE ट्रांजेक्शन ऑन सर्विसेज कंप्यूटिंग, 2019।

झांग, डब्ल्यू., वेई, डब्ल्यू., जू, एल., जिन, एल., और ली, सी. एआई मैट्रिक्स: अलीबाबा डेटा सेंटर के लिए एक गहन शिक्षण बेंचमार्क। arXiv प्रीप्रिंट arXiv:1909.10562, 2019।

झू, एच., अक्राउट, एम., झेंग, बी., पेलेग्रिस, ए., फनीशायी, ए., श्रोएडर, बी., और पेखिमेंको, जी. टीबीडी: बेंचमार्किंग और डीप न्यूरल नेटवर्क प्रशिक्षण का विश्लेषण। arXiv प्रीप्रिंट arXiv:1803.06905, 2018.