Derin Öğrenme Modelleri Oluşturmak için En İyi 20 PyTorch Veri Kümesi

Derin öğrenme modellerini eğitmek ve oluşturmak için en yaygın kullanılan iki açık kaynaklı makine öğrenimi çerçevesi TensorFlow ve PyTorch'tur. Bu çerçevelerin bina ve eğitim modellerine yaklaşımlarında benzersiz farklılıklar vardır. TensorFlow, daha iyi optimizasyon fırsatları sağlayan ve dağıtılmış eğitime izin veren statik bir grafik ve bildirimsel programlama kullanırken, PyTorch, daha esnek ve kolay bir hata ayıklama sürecine olanak tanıyan dinamik bir hesaplamalı grafik ve zorunlu programlamayı kullanır. Çerçevelerin seçimi kullanıcının özel ihtiyaçlarına ve tercihlerine bağlıdır. Bu makale, günümüzde mevcut olan ele almaktadır. Derin Öğrenme Modelleri Oluşturmak için En İyi PyTorch Veri Kümelerini Açık PyTorch Veri Kümelerinin Nihai Listesi 1. Penn Ağaç Bankası Penn Treebank, doğal dil işleme (NLP) araştırma topluluğunda kapsamlı bir şekilde incelenen, açıklamalı İngilizce metinlerden oluşan bir koleksiyondur. Dergiler, haber makaleleri ve kurgusal öyküler gibi çeşitli türlerden 4,5 milyondan fazla kelimeden oluşan metin içerir. Veri kümesi ayrıca dil modelleri, ayrıştırıcılar ve makine çeviri sistemleri de dahil olmak üzere çok çeşitli NLP modellerini eğitmek ve değerlendirmek için kullanılan ad yetkileri, konuşma etiketlerinin bir kısmı ve sözdizimsel yapı hakkında manuel olarak açıklamalı bilgilerden oluşur. Bu veri kümesini indirmek için tıklayın . burada 2. Stanford Soru Yanıtlama Veri Kümesi (SQuAD) SQuAD (Stanford Soru Yanıtlama Veri Seti), bir dizi Wikipedia makalesinden çıkarılan 100.000'den fazla soru-cevap çiftinden oluşan, doğal dil işlemede (NLP) popüler bir kıyaslama veri kümesidir. PyTorch veya diğer derin öğrenme çerçeveleri kullanılarak oluşturulan çeşitli NLP modellerinin performansını değerlendirmek için kullanılır. Cevap aralıklarının ortalama uzunluğu 3,6 kelimedir ve karşılık gelen pasajlarda ortalama 11,0 kelime bulunmaktadır. İşte SQuAD hakkında bazı ekstra ayrıntılar: - İngilizce Wikipedia'dan 536 makaleye ilişkin 100.000'den fazla soru-cevap çifti içerir. TAKIM 1.0 - 100.000'den fazla Wikipedia makalesinde 150.000'den fazla soru-cevap çifti içerir ve modelin yanıt vermekten kaçınma yeteneğini test etmek için ek yanıtlanamaz sorular içerir. TAKIM 2.0 Veri kümesinin amacı, makine öğrenimi modellerine belirli bir metin pasajıyla ilgili soruları yanıtlamak için zorlu bir görev sağlamaktır. İndirmek için buraya tıklayın . en son sürüm (SQuAD 2.0) 3. Akciğer Görüntü Veritabanı Konsorsiyumu ve Görüntü Veritabanı Kaynak Girişimi (LIDC-IDRI) Bu PyTorch veri seti, birden fazla radyolog tarafından akciğer nodülleri için açıklama eklenmiş göğüs bilgisayarlı tomografi görüntülerinden oluşan halka açık bir veri setidir. Çeşitli kurumlardan toplanan 1.018 CT taramasından oluşur ve 23.000'den fazla açıklamalı nodül içerir. Veri kümesindeki her taramaya dört deneyimli radyologun şekil, boyut, nodül konumu ve dokusu hakkında bilgi sağlayan ek açıklamaları eşlik ediyor. Veri seti, akciğer kanseri taraması ve teşhisi için bilgisayar destekli teşhis (CAD) sistemlerinin geliştirilmesine yönelik araştırmaları desteklemek amacıyla oluşturuldu. Not: Veri kümesi kamuya açıktır ancak belirli kısıtlamalara ve kullanım gereksinimlerine tabidir. Tıklamak indirmek. Burada 4. Moda-MNIST PyTorch Fashion MNIST veri seti, orijinal MNIST veri setinin yerine geçmek üzere Zalando Research tarafından oluşturulmuştur ve PyTorch uyumlu bir formatta mevcuttur. PyTorch Fashion MNIST veri seti, 60.000 eğitim görseli ve 10.000 test görseli dahil olmak üzere 70.000 gri tonlamalı giyim ürünü görselinden oluşuyor. Görüntüler 28x28 piksel boyutundadır ve tişörtler/üstler, pantolonlar, kazaklar, elbiseler, paltolar, sandaletler, gömlekler, spor ayakkabılar, çantalar ve bilekte botlar dahil olmak üzere 10 farklı giyim öğesini temsil etmektedir. Orijinal MNIST veri setine benzer ancak giyim öğelerinin daha karmaşık ve çeşitli olması nedeniyle sınıflandırma görevleri daha zorludur. Veri seti indirilebilir . Burada 5. Yelp İncelemeleri Yelp İncelemeleri veri kümesi, Amerika Birleşik Devletleri'ndeki 11 metropol bölgesinden yerel işletmelere ilişkin 5 milyondan fazla incelemenin kapsamlı bir koleksiyonudur. Veri kümesindeki her inceleme, yıldız derecelendirmesi, işletme kategorisi, inceleme metni, tarih ve konum gibi bilgileri içerir. PyTorch ile derin öğrenme modelleri oluşturmaya ilgi duyan değerli bir kaynaktır. Lütfen kayıt olun ve indirmek için burayı tıklayın. veri setini 6. Stanford Köpekleri Bu PyTorch Veri Kümesi, her biri görüntüdeki köpeğin türüyle ilgili bilgilerle etiketlenmiş, 120 farklı cins köpekten oluşan 20.580 yüksek kaliteli görselden oluşan bir koleksiyondan oluşur. Görüntü sınıflandırma ve nesne tanıma için kullanılabilir. JPEG formatında sağlanan veri seti ve bir metin dosyasındaki açıklamalarla birlikte görüntüler 224x224 piksel boyutundadır. Veri setindeki ırklar, Golden Retriever ve Labrador gibi yaygın ırklardan Otterhound ve Sussex Spaniel gibi daha az bilinen ırklara kadar uzanmaktadır. İndirebilirsin Burada. veri kümesi 7. Caltech 101 Kategori başına sınırlı sayıda görüntü zorlayıcı olsa da ayrıntılı açıklamalar, PyTorch Caltech 101 veri kümesini derin öğrenme modellerini değerlendirmek için değerli bir kaynak haline getiriyor. Veri kümesi, 101 kategoride nesnelerin 9.144 yüksek kaliteli görüntüsünü içeren etiketli bir bilgisayarlı görüntü veri kümesidir. Ayrıca çok çeşitli nesne kategorilerini kapsamaktadır ve görüntüler çeşitli kaynaklardan elde edilmiştir. Her görüntü, nesne ve görüntü kategorisiyle etiketlenir, bu da çeşitli derin öğrenme çerçeveleriyle kullanımını kolaylaştırır. Buraya TIKLAYINIZ . indirmek 8. STS-B (Anlamsal Metin Benzerliği Karşılaştırması) STS-B (Semantic Textual Benzerlik Karşılaştırması) veri seti, 2012-2017 yılları arasında SemEval kapsamında düzenlenen STS görevlerinde kullanılan İngilizce bir veri setidir. 1'den 5'e kadar bir ölçekte insan tarafından atanan benzerlik puanlarına sahip 8628 cümle çiftinden oluşur. Haber makaleleri, forum gönderileri, altyazılı görseller gibi çeşitli kaynaklardan alınan ve çok çeşitli konuları kapsayan bu veri kümesi, iki cümle arasındaki anlamsal benzerliği belirlemede modellerin performansını değerlendirmek için PyTorch ile kullanılan popüler bir veri kümesidir. PyTorch, bu veri kümesindeki modelleri eğitmeye ve değerlendirmeye yönelik bir derin öğrenme çerçevesi olduğundan STS-B veri kümesi, PyTorch uyumlu formatlar da dahil olmak üzere birçok formatta mevcuttur. \Bu veri kümesini indirmek için tıklayın . Burada 9. WMT'14 İngilizce-Almanca Bu PyTorch veri kümesi, Stanford tarafından 2015 yılında İngilizce ve Almanca arasında makine çevirisi için oluşturulan bir kıyaslama veri kümesidir. Derin öğrenme modellerini oluşturmak ve değerlendirmek için kullanılan, hem İngilizce hem de Almanca dillerinde cümle hizalı metinlerden oluşan paralel bir derlemeden oluşur. Test setlerinin her biri 3.000 cümle çifti içerirken, eğitim seti yaklaşık 4,5 milyon cümle çiftinden oluşmakta olup ortalama cümle uzunluğu İngilizce için 26, Almanca için 30 kelime olup, kelime büyüklüğü İngilizce için yaklaşık 160.000, Almanca için ise 220.000 kelimedir. Almanca. Aşağı kaydırıp indirebilirsiniz . Burada 10. CelebA Bu veri seti, 200.000'den fazla ünlünün görselinden oluşan popüler bir büyük ölçekli yüz özellikleri veri setidir. İlk kez 2015 yılında Hong Kong Çin Üniversitesi'ndeki araştırmacılar tarafından yayımlandı. CelebA'daki bir görüntü, yaş, saç rengi, yüz ifadesi ve cinsiyet gibi 40 yüz özelliğinden oluşuyor. Ayrıca bu görüntüler internetten alınmıştır ve farklı ırklar, yaşlar ve cinsiyetler de dahil olmak üzere çok çeşitli yüz görünümlerini kapsamaktadır. Her görüntüde yüzün konumu için sınırlayıcı kutu açıklamalarının yanı sıra gözler, burun ve ağız için 5 dönüm noktası noktası. Not: CelebA veri seti, uygun şekilde atıfta bulunulduğu sürece ticari olmayan araştırma amaçları için kullanılmasına izin veren Creative Commons Attribution-Noncommercial-Share lisansı altındadır. CelebA veri kümesini PyTorch'ta kullanmak için modülünün bir parçası olan sınıfını kullanabilirsiniz. Veri setini şuradan indirebilirsiniz: veya . torchvision torchvision.datasets.CelebA İnternet sitesi Burada 11.UCF101 UFC101 veri seti, bilgisayarlı görme alanında video sınıflandırması için yaygın olarak kullanılmaktadır. Her biri yaklaşık 100 ila 300 video içeren, 101 eylem kategorisinden 13.230 insan eylemi videosundan oluşuyor. PyTorch UCF101 veri kümesi, orijinal UCF101'in PyTorch'ta kullanıma hazır, önceden işlenmiş bir sürümüdür. Önceden işlenmiş veri seti, her video için karşılık gelen etiketler de dahil olmak üzere normalleştirilmiş ve yeniden boyutlandırılmış video çerçevelerini içerir. Ayrıca üç gruba ayrılmıştır: sırasıyla yaklaşık 9.500, 3.500 ve 3.000 videoyla eğitim, doğrulama ve test. Veri kümesini indirmek için tıklayın . Burada 12.HMDB51 HMDB51 veri seti, filmler, TV şovları ve çevrimiçi videolar da dahil olmak üzere çeşitli kaynaklardan toplanan ve her biri en az 101 video klip içeren 51 aksiyon sınıfından oluşan bir video koleksiyonudur. İnsan eylemlerini tanıma araştırmaları için 2011 yılında Central Florida Üniversitesi'ndeki araştırmacılar tarafından oluşturuldu. Videolar AVI formatındadır ve 320x240 piksel çözünürlüğe sahiptir; her video için eylem sınıfı etiketi ve video içindeki eylemin başlangıç ve bitiş kareleri de dahil olmak üzere temel gerçek açıklamaları bulunur. Veri kümesindeki her video, statik bir kamera önünde eylem gerçekleştiren bir kişiyi temsil eder. Eylemler, her gün atlama, el sallama, içki içme ve diş fırçalama gibi çok çeşitli aktivitelerin yanı sıra gitar çalmak ve ata binmek gibi karmaşık eylemleri de içerir. Not: Aşağıdakilerle birlikte kullanılır: Daha fazla sayıda eylem sınıfı içeren ancak sınıf başına daha az video içeren veri kümesi. UCF101 Veri setini indirebilirsiniz . Burada 13. Etkinlik Ağı ActivityNet, yemek pişirme, spor, dans vb. gibi çeşitli kategorilerden 20.000'den fazla video içeren büyük ölçekli bir video anlama veri kümesidir. Videolar ortalama 3 dakika uzunluğa sahiptir ve ortalama 1,41 etkinlik segmentiyle açıklamalıdır. Derin öğrenme çerçevelerinde kullanımı kolay olan PyTorch'ta mevcuttur. PyTorch sürümü, her videonun RGB çerçevelerinden ve optik akış alanlarından elde edilen önceden işlenmiş özelliklerin yanı sıra, zamansal bölümler ve etkinlik etiketleri için temel gerçek açıklamalarını sunar. Veri setini indirebilirsiniz . Burada 14. VOC veri seti (Görsel Nesne Sınıfları) VOC veri seti (Görsel Nesne Sınıfları) ilk olarak 2005 yılında, görsel tanıma alanında en son teknolojiyi geliştirmeyi amaçlayan PASCAL VOC Challenge'ın bir parçası olarak tanıtıldı. Hayvanlar, araçlar ve yaygın ev eşyaları dahil olmak üzere 20 farklı nesne kategorisinin görüntülerinden oluşur. Bu görüntülerin her birine, görüntü içindeki nesnelerin konumları ve sınıflandırmaları eklenmiştir. Ek açıklamalar hem sınırlayıcı kutuları hem de piksel düzeyinde segmentasyon maskelerini içerir. Veri seti iki ana gruba ayrılmıştır: eğitim ve doğrulama setleri. Eğitim seti, açıklamalı yaklaşık 5.000 görüntü içerirken, doğrulama seti, açıklama içermeyen yaklaşık 5.000 görüntü içerir. Ayrıca veri seti yaklaşık 10.000 görselden oluşan bir test seti de içeriyor ancak bu sete ilişkin açıklamalar kamuya açık değil. En son veri kümesini indirmek için şu adresten indirebilirsiniz: , açık kaynağımız aracılığıyla yalnızca bir satır kodla Python'a yükleyin veya şuradan indirin: . İnternet sitesi Deep Lake Kaggle 15. YCB-Video Bu veri seti, nesne tanıma ve poz tahmin görevleri için tasarlanmış 3 boyutlu nesne modelleri ve video dizilerinden oluşan bir koleksiyondur. Her nesnenin çeşitli aydınlatma koşullarında ve kamera bakış açılarında yakalandığı 21 günlük ev eşyası içeriyor. Veri kümesi, piksel düzeyinde yer gerçeği açıklamaları sağlar ve bilgisayarlı görme algoritmalarını ve robotik sistemleri değerlendirmek için yaygın olarak kullanılır. İndirmek için buraya tıklayın . veri kümesi 16. KİTTİ KITTI veri seti, otonom sürüş araştırmalarına yönelik bilgisayarlı görüş verilerinin bir koleksiyonudur. Çeşitli sensörlerle donatılmış bir arabadan 4000'den fazla yüksek çözünürlüklü görüntü, LIDAR nokta bulutu ve sensör verilerini içerir. Veri kümesi, nesne algılama, izleme ve segmentasyonun yanı sıra derinlik haritaları ve kalibrasyon parametreleri için ek açıklamalar sağlar. KITTI veri seti, otonom sürüş ve robot bilimine yönelik derin öğrenme modellerinin eğitimi ve değerlendirilmesi için yaygın olarak kullanılıyor. En son veri kümesini indirmek için şu adresten indirebilirsiniz: , veya şuradan indirin . İnternet sitesi GitHub Kaggle 17. Sütyen BRATS PyTorch veri seti, beyin tümörü segmentasyonuna yönelik manyetik rezonans görüntüleme (MRI) taramalarının bir koleksiyonudur. Her biri dört modaliteye (T1, T1c, T2 ve FLAIR) ve bunlara karşılık gelen ikili segmentasyon maskelerine sahip 200'den fazla yüksek çözünürlüklü 3 boyutlu beyin görüntüsünden oluşur. Veri kümesi, otomatik beyin tümörü tespiti ve segmentasyonu için derin öğrenme modellerinin eğitimi ve değerlendirilmesi amacıyla yaygın olarak kullanılır. Bu veri kümesini Kaggle'da tıklayarak indirebilirsiniz. . Burada 18. Çok İnsanlı Ayrıştırma Çoklu İnsan Ayrıştırma PyTorch veri kümesi, insan parçası ayrıştırma için piksel düzeyinde açıklamalar içeren büyük ölçekli bir insan görüntüsü veri kümesidir. Her biri 18 insan parçası etiketine bölünmüş 26.000'den fazla insan görüntüsü içerir. Veri kümesi, insan poz tahmini, segmentasyon ve eylem tanıma için derin öğrenme modellerini eğitmek ve değerlendirmek için kullanılır. Veri kümesini indirmek için tıklayın . Burada 19. Sessiz sinema Bu veri kümesi, eylem tanıma ve yerelleştirmeye yönelik büyük ölçekli bir video veri kümesidir. Video başına ortalama 30 saniye uzunluğunda, yemek pişirme, temizlik ve sosyalleşme gibi günlük aktiviteleri içeren 9.800'den fazla videodan oluşur. Veri kümesi, eylemler için zamansal sınırlar ve atomik görsel kavramlar da dahil olmak üzere her video için ayrıntılı açıklamalar sağlayarak onu eylem tanıma, algılama ve segmentasyona yönelik derin öğrenme modellerinin eğitimi ve değerlendirilmesi için uygun hale getirir. Charades PyTorch Veri Kümesi, bilgisayarlı görü araştırma topluluğunda yaygın olarak kullanılmaktadır ve ücretsiz olarak kullanıma sunulmaktadır. ve kullan. indirmek 20. TU Berlin Bu veri seti, nesne tespiti ve poz tahmini için yüksek çözünürlüklü görüntülerden ve 3 boyutlu nesne pozlarından oluşan zengin bir koleksiyondur. 2D ve 3D pozlar için ek açıklamalarla birlikte 60 nesne kategorisine ait 11.000'den fazla görüntü içerir. Büyük boyutu ve çeşitli nesne kategorileriyle TU Berlin PyTorch veri seti, sağlam ve doğru nesne algılama ve poz tahmin modelleri geliştirmek için mükemmel bir test ortamı sağlar. Veri setini doğrudan web sitesinden tıklayarak alabilirsiniz. . Burada PyTorch Veri Kümeleri için Yaygın Kullanım Durumları Doğal Dil İşleme Penn Ağaç Bankası Stanford Soru Yanıtlama Veri Kümesi (SQuAD) STS-B (Anlamsal Metin Benzerliği Karşılaştırması) WMT'14 İngilizce-Almanca Yelp İncelemeleri Bilgisayar görüşü CelebA Caltech 101 Stanford Köpekleri YCB-Video VOC veri kümesi (Görsel Nesne Sınıfları) KİTTİ Çoklu İnsan Ayrıştırma Sessiz sinema TU Berlin Moda-MNIST Tıbbi Görüntü Analizi Akciğer Görüntü Veritabanı Konsorsiyumu ve Görüntü Veritabanı Kaynak Girişimi (LIDC-IDRI) sütyen İnsan Aktivitesi Tanıma UCF101 HMDB51 ActivityNet Son düşünceler PyTorch, genellikle derin öğrenme modellerinin geliştirilmesine ve yeni yaklaşımların keşfedilmesine odaklanılan araştırma ve deneyler için kullanışlıdır. Ek olarak PyTorch, ekosisteme katkıda bulunan geliştiricilerden ve araştırmacılardan oluşan büyüyen bir toplulukla araştırma odaklı bir çerçeve olarak ün kazandı. Bu veri kümelerinin birden fazla alanda uygulamaları vardır ve aynı zamanda herkesin ücretsiz olarak indirip kullanmasına da açıktır. Bu makalenin ana görüntüsü, HackerNoon'un AI Stabil Difüzyon modeli aracılığıyla 'PyTorch üst üste bindirilmiş görüntüler' istemi kullanılarak oluşturuldu.