TensorFlow और PyTorch प्रशिक्षण और गहन शिक्षण मॉडल के निर्माण के लिए दो सबसे व्यापक रूप से उपयोग किए जाने वाले ओपन-सोर्स मशीन लर्निंग फ्रेमवर्क हैं।
इन रूपरेखाओं के निर्माण और प्रशिक्षण मॉडल के दृष्टिकोण में अद्वितीय अंतर हैं। जबकि TensorFlow एक स्थिर ग्राफ और घोषणात्मक प्रोग्रामिंग का उपयोग करता है, जो बेहतर अनुकूलन अवसर प्रदान करता है और वितरित प्रशिक्षण की अनुमति देता है, PyTorch एक गतिशील कम्प्यूटेशनल ग्राफ और अनिवार्य प्रोग्रामिंग का उपयोग करता है, जो अधिक लचीली और आसान डिबगिंग प्रक्रिया की अनुमति देता है। ढांचे का चुनाव उपयोगकर्ता की विशिष्ट आवश्यकताओं और प्राथमिकताओं पर निर्भर करता है।
यह लेख आज उपलब्ध डीप लर्निंग मॉडल के निर्माण के लिए सर्वश्रेष्ठ PyTorch डेटासेट को देखता है।
पेन ट्रीबैंक एनोटेट अंग्रेजी पाठ का एक संग्रह है, जिसका व्यापक रूप से प्राकृतिक भाषा प्रसंस्करण (एनएलपी) अनुसंधान समुदाय में अध्ययन किया जाता है। इसमें विभिन्न विधाओं जैसे पत्रिकाओं, समाचार लेखों और काल्पनिक कहानियों के पाठ के 4.5 मिलियन से अधिक शब्द शामिल हैं। डेटासेट में नाम एंटाइटेल्स, स्पीच टैग्स और सिंटैक्टिक स्ट्रक्चर के बारे में मैन्युअल रूप से एनोटेट की गई जानकारी भी होती है, जिसका उपयोग भाषा मॉडल, पार्सर और मशीन ट्रांसलेशन सिस्टम सहित एनएलपी मॉडल की एक विस्तृत श्रृंखला को प्रशिक्षित करने और मूल्यांकन करने के लिए किया जाता है।
इस डेटासेट को डाउनलोड करने के लिए क्लिक करें
SQuAD (स्टैनफोर्ड क्वेश्चन आंसरिंग डेटासेट) प्राकृतिक भाषा प्रसंस्करण (NLP) में एक लोकप्रिय बेंचमार्क डेटासेट है जिसमें विकिपीडिया लेखों के एक सेट से निकाले गए 100,000 से अधिक प्रश्न-उत्तर जोड़े शामिल हैं। इसका उपयोग PyTorch या अन्य गहन शिक्षण ढाँचों का उपयोग करके निर्मित विभिन्न NLP मॉडलों के प्रदर्शन का मूल्यांकन करने के लिए किया जाता है। उत्तर स्पैन की औसत लंबाई 3.6 शब्द है, और संबंधित गद्यांश में औसतन 11.0 शब्द हैं।
यहाँ SQuAD के बारे में कुछ अतिरिक्त विवरण दिए गए हैं:
डेटासेट का लक्ष्य किसी दिए गए टेक्स्ट पैसेज के बारे में सवालों के जवाब देने के लिए मशीन लर्निंग मॉडल के लिए एक चुनौतीपूर्ण कार्य प्रदान करना है। डाउनलोड करने के लिए यहां क्लिक करें
यह PyTorch डेटासेट छाती की गणना की गई टोमोग्राफी छवियों का एक सार्वजनिक डेटासेट है जिसे कई रेडियोलॉजिस्टों द्वारा फेफड़े के पिंडों के लिए एनोटेट किया गया है। इसमें विभिन्न संस्थानों से एकत्र किए गए 1,018 सीटी स्कैन शामिल हैं और इसमें 23,000 से अधिक एनोटेट नोड्यूल शामिल हैं।
डेटासेट में प्रत्येक स्कैन चार अनुभवी रेडियोलॉजिस्ट के एनोटेशन के साथ होता है जो आकार, आकार, नोड्यूल स्थान और बनावट के बारे में जानकारी प्रदान करता है। फेफड़े के कैंसर की जांच और निदान के लिए कंप्यूटर एडेड डायग्नोसिस (CAD) सिस्टम के विकास में अनुसंधान का समर्थन करने के लिए डेटासेट बनाया गया था।
नोट: डेटासेट सार्वजनिक रूप से उपलब्ध है लेकिन उपयोग के लिए कुछ प्रतिबंधों और आवश्यकताओं के अधीन है।
क्लिक
PyTorch Fashion MNIST डेटासेट Zalando Research द्वारा मूल MNIST डेटासेट के प्रतिस्थापन के रूप में बनाया गया था और यह PyTorch-संगत प्रारूप में उपलब्ध है। PyTorch Fashion MNIST डेटासेट में 60,000 प्रशिक्षण छवियों और 10,000 परीक्षण छवियों सहित कपड़ों की वस्तुओं की 70,000 ग्रेस्केल छवियां शामिल हैं।
छवियां आकार में 28x28 पिक्सेल हैं और टी-शर्ट/टॉप, पतलून, स्वेटर, कपड़े, कोट, सैंडल, शर्ट, स्नीकर्स, बैग और टखने के जूते सहित कपड़ों के 10 विभिन्न वर्गों का प्रतिनिधित्व करती हैं। यह मूल MNIST डेटासेट के समान है, लेकिन कपड़ों की वस्तुओं की अधिक जटिलता और विविधता के कारण अधिक चुनौतीपूर्ण वर्गीकरण कार्यों के साथ।
डेटासेट डाउनलोड किया जा सकता है
Yelp Review डेटासेट संयुक्त राज्य अमेरिका के 11 महानगरीय क्षेत्रों से स्थानीय व्यवसायों की 5 मिलियन से अधिक समीक्षाओं का एक व्यापक संग्रह है। डेटासेट में प्रत्येक समीक्षा में स्टार रेटिंग, व्यवसाय श्रेणी, समीक्षा पाठ, दिनांक और स्थान जैसी जानकारी होती है। यह PyTorch के साथ गहन शिक्षण मॉडल बनाने में रुचि रखने वाला एक मूल्यवान संसाधन है।
कृपया साइन अप करें और डेटासेट डाउनलोड करने के लिए यहां क्लिक करें।
इस PyTorch डेटासेट में कुत्तों की 120 विभिन्न नस्लों की 20,580 उच्च-गुणवत्ता वाली छवियों का संग्रह शामिल है, प्रत्येक को छवि में कुत्ते की नस्ल के बारे में जानकारी के साथ लेबल किया गया है। इसका उपयोग छवि वर्गीकरण और वस्तु पहचान के लिए किया जा सकता है। जेपीईजी प्रारूप में प्रदान किए गए डेटासेट और टेक्स्ट फ़ाइल में एनोटेशन के साथ, छवियां 224x224 पिक्सेल आकार की हैं। डेटासेट में नस्लें सामान्य नस्लों जैसे गोल्डन रिट्रीवर्स और लैब्राडोर से लेकर अधिक अस्पष्ट नस्लों जैसे ओटरहाउंड और ससेक्स स्पैनियल तक होती हैं।
आप डाउनलोड कर सकते हैं
जबकि प्रति श्रेणी छवियों की सीमित संख्या एक चुनौती हो सकती है, विस्तृत एनोटेशन PyTorch Caltech 101 डेटासेट को गहन शिक्षण मॉडल के मूल्यांकन के लिए एक मूल्यवान संसाधन बनाते हैं। डेटासेट एक लेबल वाला कंप्यूटर विज़न डेटासेट है जिसमें 101 श्रेणियों में वस्तुओं की 9,144 उच्च-गुणवत्ता वाली छवियां हैं। यह वस्तु श्रेणियों की एक विस्तृत श्रृंखला को भी शामिल करता है और चित्र विभिन्न स्रोतों से प्राप्त किए गए थे। प्रत्येक छवि को वस्तु और छवि की श्रेणी के साथ लेबल किया जाता है, जो विभिन्न प्रकार के गहन शिक्षण ढाँचों के साथ उपयोग करना आसान बनाता है।
यहां क्लिक करें
STS-B (सिमेंटिक टेक्सचुअल समानता बेंचमार्क) डेटासेट एक अंग्रेजी डेटासेट है जिसका उपयोग 2012 और 2017 के बीच SemEval के संदर्भ में आयोजित STS कार्यों में किया जाता है। इसमें 1 से 5 के पैमाने पर मानव-निर्दिष्ट समानता स्कोर के साथ 8628 वाक्य जोड़े शामिल हैं। विभिन्न स्रोतों से लिया गया, जैसे समाचार लेख, फ़ोरम पोस्ट, कैप्शन वाली छवियां और विषयों की एक विस्तृत श्रृंखला को कवर करते हुए, यह दो वाक्यों के बीच सिमेंटिक समानता का निर्धारण करने में मॉडल के प्रदर्शन का मूल्यांकन करने के लिए PyTorch के साथ उपयोग किया जाने वाला एक लोकप्रिय डेटासेट है। STS-B डेटासेट कई स्वरूपों में उपलब्ध है, जिसमें PyTorch-संगत प्रारूप शामिल हैं, क्योंकि PyTorch इस डेटासेट पर मॉडल के प्रशिक्षण और मूल्यांकन के लिए एक गहन-शिक्षण ढांचा है।
\इस डेटासेट को डाउनलोड करने के लिए क्लिक करें
यह PyTorch डेटासेट 2015 में स्टैनफोर्ड द्वारा बनाए गए अंग्रेजी और जर्मन के बीच मशीनी अनुवाद के लिए एक बेंचमार्क डेटासेट है। इसमें अंग्रेजी और जर्मन दोनों में वाक्य-संरेखित पाठों का समानांतर कॉर्पोरा शामिल है, जिसका उपयोग गहन शिक्षण मॉडल बनाने और मूल्यांकन करने के लिए किया जाता है। जबकि परीक्षण सेट में 3,000 वाक्य जोड़े होते हैं, प्रशिक्षण सेट में लगभग 4.5 मिलियन वाक्य जोड़े होते हैं और औसत वाक्य की लंबाई अंग्रेजी में 26 शब्द और जर्मन में 30 शब्द होती है, जिसमें अंग्रेजी के लिए लगभग 160,000 शब्द और अंग्रेजी के लिए 220,000 शब्दों का शब्दावली आकार होता है। जर्मन।
आप नीचे स्क्रॉल कर इसे डाउनलोड कर सकते हैं
यह डेटासेट एक लोकप्रिय बड़े पैमाने का फेस एट्रिब्यूट डेटासेट है जिसमें 200,000 से अधिक सेलिब्रिटी चित्र शामिल हैं। यह पहली बार 2015 में चीनी विश्वविद्यालय हांगकांग के शोधकर्ताओं द्वारा जारी किया गया था। CelebA में एक छवि में उम्र, बालों का रंग, चेहरे की अभिव्यक्ति और लिंग जैसी 40 चेहरे की विशेषताएं शामिल हैं। इसके अलावा, इन छवियों को इंटरनेट से पुनर्प्राप्त किया गया था और विभिन्न नस्लों, उम्र और लिंग सहित चेहरे की उपस्थिति की एक विस्तृत श्रृंखला को कवर किया गया था। प्रत्येक छवि में चेहरे के स्थान के लिए बाउंडिंग बॉक्स एनोटेशन, साथ ही आंखों, नाक और मुंह के लिए 5 लैंडमार्क बिंदु।
नोट: CelebA डेटासेट क्रिएटिव कॉमन्स एट्रिब्यूशन-नॉन-कमर्शियल-शेयर के लाइसेंस के तहत है, जो उचित क्रेडिट दिए जाने तक इसे गैर-वाणिज्यिक अनुसंधान उद्देश्यों के लिए उपयोग करने की अनुमति देता है।
PyTorch में CelebA डेटासेट का उपयोग करने के लिए, आप torchvision.datasets.CelebA
वर्ग का उपयोग कर सकते हैं, जो कि torchvision
मॉड्यूल का हिस्सा है। आप डेटासेट से डाउनलोड कर सकते हैं
कंप्यूटर दृष्टि के क्षेत्र में वीडियो वर्गीकरण के लिए UFC101 डेटासेट का व्यापक रूप से उपयोग किया जाता है। इसमें 101 क्रिया श्रेणियों से मानव क्रियाओं के 13,230 वीडियो शामिल हैं, जिनमें से प्रत्येक में लगभग 100 से 300 वीडियो हैं। PyTorch UCF101 डेटासेट मूल UCF101 का प्रीप्रोसेस्ड संस्करण है जो PyTorch में उपयोग के लिए तैयार है। पूर्व-संसाधित डेटासेट में वीडियो फ्रेम शामिल होते हैं जिन्हें सामान्यीकृत और आकार दिया गया है, जिसमें प्रत्येक वीडियो के लिए संबंधित लेबल शामिल हैं। यह भी तीन सेटों में विभाजित है: प्रशिक्षण, सत्यापन और परीक्षण, क्रमशः लगभग 9,500, 3,500 और 3,000 वीडियो के साथ।
डेटासेट डाउनलोड करने के लिए क्लिक करें
HMDB51 डेटासेट फिल्मों, टीवी शो और ऑनलाइन वीडियो सहित विभिन्न स्रोतों से प्राप्त वीडियो का एक संग्रह है, जिसमें कम से कम 101 वीडियो क्लिप के साथ 51 एक्शन क्लास शामिल हैं। यह मानव क्रिया मान्यता में अनुसंधान के लिए 2011 में सेंट्रल फ्लोरिडा विश्वविद्यालय के शोधकर्ताओं द्वारा बनाया गया था। वीडियो एवीआई प्रारूप में हैं और प्रत्येक वीडियो के लिए ग्राउंड-ट्रूथ एनोटेशन के साथ 320x240 पिक्सेल का रिज़ॉल्यूशन है, जिसमें एक्शन क्लास लेबल और वीडियो के भीतर कार्रवाई के प्रारंभ और अंत फ्रेम शामिल हैं। डेटासेट में प्रत्येक वीडियो एक स्थिर कैमरे के सामने एक क्रिया करने वाले व्यक्ति का प्रतिनिधित्व करता है। क्रियाओं में हर दिन गतिविधियों की एक विस्तृत श्रृंखला शामिल होती है, जैसे कि कूदना, लहराना, शराब पीना और दांतों को ब्रश करना, साथ ही जटिल क्रियाएं जैसे गिटार बजाना और घुड़सवारी करना।
नोट: इसका उपयोग इसके साथ किया जाता है
आप डेटासेट डाउनलोड कर सकते हैं
एक्टिविटीनेट एक बड़े पैमाने पर वीडियो समझने वाला डेटासेट है जिसमें खाना पकाने, खेल, नृत्य आदि जैसी विविध श्रेणियों के 20,000 से अधिक वीडियो शामिल हैं। वीडियो की औसत लंबाई 3 मिनट है और औसतन 1.41 गतिविधि सेगमेंट के साथ एनोटेट किया गया है। यह PyTorch में उपलब्ध है, जिसे डीप लर्निंग फ्रेमवर्क में उपयोग करना आसान है। PyTorch संस्करण आरजीबी फ्रेम और प्रत्येक वीडियो के ऑप्टिकल प्रवाह क्षेत्रों से निकाले गए प्रीप्रोसेस्ड फीचर्स के साथ-साथ टेम्पोरल सेगमेंट और गतिविधि के लेबल के लिए ग्राउंड ट्रूथ एनोटेशन प्रदान करता है।
आप डेटासेट डाउनलोड कर सकते हैं
VOC डेटासेट (विज़ुअल ऑब्जेक्ट क्लासेस) को पहली बार 2005 में PASCAL VOC चैलेंज के हिस्से के रूप में पेश किया गया था, जिसका उद्देश्य दृश्य पहचान में कला की स्थिति को आगे बढ़ाना था। इसमें जानवरों, वाहनों और सामान्य घरेलू वस्तुओं सहित 20 विभिन्न वस्तु श्रेणियों की छवियां शामिल हैं। इन छवियों में से प्रत्येक को छवि के भीतर वस्तुओं के स्थान और वर्गीकरण के साथ एनोटेट किया गया है। एनोटेशन में बाउंडिंग बॉक्स और पिक्सेल-स्तरीय विभाजन मास्क दोनों शामिल हैं। डेटासेट को दो मुख्य सेटों में विभाजित किया गया है: प्रशिक्षण और सत्यापन सेट। प्रशिक्षण सेट में एनोटेशन के साथ लगभग 5,000 चित्र होते हैं, जबकि सत्यापन सेट में एनोटेशन के बिना लगभग 5,000 चित्र होते हैं। इसके अलावा, डेटासेट में लगभग 10,000 छवियों के साथ एक परीक्षण सेट भी शामिल है, लेकिन इस सेट के एनोटेशन सार्वजनिक रूप से उपलब्ध नहीं हैं।
हाल के डेटासेट को डाउनलोड करने के लिए, आप इसे से डाउनलोड कर सकते हैं
यह डेटासेट 3डी ऑब्जेक्ट मॉडल और वीडियो अनुक्रमों का एक संग्रह है जिसे ऑब्जेक्ट रिकग्निशन और पोज़ अनुमान कार्यों के लिए डिज़ाइन किया गया है। इसमें 21 रोजमर्रा के घरेलू सामान शामिल हैं, जिसमें प्रत्येक वस्तु को विभिन्न प्रकाश स्थितियों और कैमरे के दृष्टिकोण में कैप्चर किया गया है। डेटासेट पिक्सेल-स्तरीय ग्राउंड ट्रूथ एनोटेशन प्रदान करता है और आमतौर पर कंप्यूटर विज़न एल्गोरिदम और रोबोटिक सिस्टम के मूल्यांकन के लिए उपयोग किया जाता है।
डाउनलोड करने के लिए यहां क्लिक करें
KITTI डेटासेट ऑटोनॉमस ड्राइविंग रिसर्च के लिए कंप्यूटर विज़न डेटा का एक संग्रह है। इसमें विभिन्न सेंसर से लैस कार से 4000 से अधिक उच्च-रिज़ॉल्यूशन छवियां, LIDAR पॉइंट क्लाउड और सेंसर डेटा शामिल हैं। डेटासेट ऑब्जेक्ट डिटेक्शन, ट्रैकिंग और सेगमेंटेशन के साथ-साथ डेप्थ मैप्स और कैलिब्रेशन पैरामीटर्स के लिए एनोटेशन प्रदान करता है। KITTI डेटासेट का व्यापक रूप से स्वायत्त ड्राइविंग और रोबोटिक्स के लिए गहन शिक्षण मॉडल के प्रशिक्षण और मूल्यांकन के लिए उपयोग किया जाता है।
हाल के डेटासेट को डाउनलोड करने के लिए, आप इसे से डाउनलोड कर सकते हैं
BRATS PyTorch डेटासेट ब्रेन ट्यूमर विभाजन के लिए चुंबकीय अनुनाद इमेजिंग (MRI) स्कैन का एक संग्रह है। इसमें 200 से अधिक उच्च-रिज़ॉल्यूशन 3डी मस्तिष्क छवियां शामिल हैं, जिनमें से प्रत्येक में चार तौर-तरीके (T1, T1c, T2, और FLAIR) और संबंधित बाइनरी सेगमेंटेशन मास्क हैं। डेटासेट का उपयोग आमतौर पर स्वचालित ब्रेन ट्यूमर का पता लगाने और विभाजन के लिए गहन शिक्षण मॉडल के प्रशिक्षण और मूल्यांकन के लिए किया जाता है।
आप इस डेटासेट को कागल पर क्लिक करके डाउनलोड कर सकते हैं
बहु-मानव पार्सिंग PyTorch डेटासेट एक बड़े पैमाने पर मानव छवि डेटासेट है जिसमें मानव भाग पार्सिंग के लिए पिक्सेल-स्तरीय एनोटेशन हैं। इसमें मनुष्यों की 26,000 से अधिक छवियां शामिल हैं, प्रत्येक को 18 मानव भाग लेबल में विभाजित किया गया है। डेटासेट का उपयोग मानव मुद्रा अनुमान, विभाजन और क्रिया पहचान के लिए गहन शिक्षण मॉडल के प्रशिक्षण और मूल्यांकन के लिए किया जाता है।
डेटासेट डाउनलोड करने के लिए क्लिक करें
यह डेटासेट कार्रवाई पहचान और स्थानीयकरण के लिए बड़े पैमाने पर वीडियो डेटासेट है। इसमें प्रति वीडियो 30 सेकंड की औसत लंबाई के साथ खाना पकाने, सफाई और सामाजिककरण जैसी दैनिक गतिविधियों के 9,800 से अधिक वीडियो शामिल हैं। डेटासेट प्रत्येक वीडियो के लिए विस्तृत एनोटेशन प्रदान करता है, जिसमें क्रियाओं और परमाणु दृश्य अवधारणाओं के लिए अस्थायी सीमाएं शामिल हैं, जो इसे प्रशिक्षण के लिए उपयुक्त बनाती हैं और कार्रवाई की पहचान, पहचान और विभाजन के लिए गहन शिक्षण मॉडल का मूल्यांकन करती हैं।
कंप्यूटर दृष्टि अनुसंधान समुदाय में व्यापक रूप से उपयोग किया जाता है और इसके लिए स्वतंत्र रूप से उपलब्ध है
यह डेटासेट उच्च-रिज़ॉल्यूशन छवियों का एक समृद्ध संग्रह है और ऑब्जेक्ट डिटेक्शन और पोज अनुमान के लिए 3डी ऑब्जेक्ट पोज देता है। इसमें 60 वस्तु श्रेणियों की 11,000 से अधिक छवियां शामिल हैं, जिसमें 2डी और 3डी मुद्रा के लिए एनोटेशन हैं। अपने बड़े आकार और विविध वस्तु श्रेणियों के साथ, TU बर्लिन PyTorch डेटासेट मजबूत और सटीक ऑब्जेक्ट डिटेक्शन और पोज़ अनुमान मॉडल विकसित करने के लिए एक उत्कृष्ट टेस्टबेड प्रदान करता है।
आप क्लिक करके सीधे वेबसाइट से डाटासेट प्राप्त कर सकते हैं
PyTorch अनुसंधान और प्रयोग के लिए उपयोगी है, जहाँ अक्सर गहन शिक्षण मॉडल विकसित करने और नए दृष्टिकोणों की खोज करने पर ध्यान केंद्रित किया जाता है। इसके अतिरिक्त, PyTorch ने पारिस्थितिकी तंत्र में योगदान करने वाले डेवलपर्स और शोधकर्ताओं के बढ़ते समुदाय के साथ एक शोध-केंद्रित ढांचे के रूप में प्रतिष्ठा प्राप्त की है।
इन डेटासेट में कई क्षेत्रों में एप्लिकेशन हैं और किसी के लिए भी मुफ्त में डाउनलोड और उपयोग करने के लिए उपलब्ध हैं।
इस लेख की मुख्य छवि हैकरनून के एआई स्टेबल डिफ्यूजन मॉडल के माध्यम से तैयार की गई थी, जिसमें प्रॉम्प्ट 'पाइटॉर्च सुपरइम्पोज़्ड इमेज' का उपयोग किया गया था।