Yazarlar:  (1) Iason Ofeidis, Elektrik Mühendisliği Bölümü ve Yale Ağ Bilimi Enstitüsü, Yale Üniversitesi, New Haven {Eşit katkı};  (2) Diego Kiedanski, Elektrik Mühendisliği Bölümü ve Yale Ağ Bilimi Enstitüsü, Yale Üniversitesi, New Haven {Eşit katkı};  (3) Leandros Tassiulas Levon Ghukasyan, Activeloop, Mountain View, CA, ABD, Elektrik Mühendisliği Bölümü ve Yale Ağ Bilimi Enstitüsü, Yale Üniversitesi, New Haven.  Bağlantı Tablosu   Özet ve Giriş   Veri yükleyiciler   Deneysel kurulum   Sayısal sonuçlar   Tartışma   Alakalı iş   Sonuç, Teşekkür ve Referanslar   A. Sayısal Sonuçlar Devamı  5. TARTIŞMA  Bu çalışmada, farklı kütüphaneler arasındaki performansı karşılaştırmak için ana araç olarak zamanı kullandık. Bu konuda söylenecek birkaç şey var. İlk olarak, çalışma sürelerinin oldukça değişken olduğunu ve kontrol edilmesi zor olan arka plan işlemlerine bağlı olduğunu fark ettik. Aynı zamanda, çoklu GPU kaynaklarına erişim pahalıdır ve bu da yürütülebilecek deney sayısını sınırlamaktadır. İdeal durumda, daha fazla parametreyle (daha fazla işçi, daha fazla parti büyüklüğü) her deneyin üçten fazla tekrarını gerçekleştirirdik, ancak bunun için kaynaklarımız yoktu. Tüm açık kaynak kodumuzu yaptığımız için okuyucuları kendi donanımları üzerinde kıyaslamaları çalıştırmaya ve sonuçları raporlamaya davet ediyoruz. Aynı zamanda kitaplıklar oldukça sık güncellenir ve sürümdeki bir değişiklik performansını önemli ölçüde artırabilir veya azaltabilir.  Yukarıdaki noktaların ışığında, okuyucuyu bu makalenin niteliksel yönlerini içselleştirmeye teşvik ediyoruz ancak burada elde edilen rakamların değişmeye eğilimli olduğunu unutmayın.  İkinci olarak, karşılaştırılması daha zor olan bir husus, bu projede ele alınan kütüphanelerin kullanım kolaylığıdır. Bu değerlendirmeye dahil edilen kütüphanelerin çoğu kapsamlı belgelere sahip değildir ve öncelikle somut örneklere dayanmaktadır. Sonuç olarak, bu kütüphanelerdeki uygulama önemsiz değildir ve verimsizliğe yatkındır. Kodumuzu açık kaynak yapmanın avantajlarından biri, herhangi bir geliştiricinin kodumuzu tanımlamasına ve geliştirmesine izin vermemizdir. Bu projede oluşturulan kriterlerin topluluk için standart kod olarak kullanılmasını beklediğimiz için bu özellikle önemlidir.  Diğerlerinden daha iyi bir kütüphanenin bulunmadığını görüyoruz. Bunun yerine her birinin kendine has güçlü yanları vardır. FFCV örneğini düşünün: deneylerimizde en hızlısı gibi görünüyor ancak etiket dönüşümleri için desteğin olmaması, bu tür özellikler gerektiren projelerde benimsenmesini engelliyor.  Gelecekteki çalışmalarda birden fazla GPU genelinde filtreleme ve eğitim arasındaki etkileşimi analiz etmeyi umuyoruz. Aynı zamanda GPU sayısı arttıkça bu kitaplıkların ölçeklendirme yeteneklerini keşfetmek de ilginç olacaktır. Benzer şekilde, veri yükleme kitaplıklarını DL eğitim iş akışındaki karıştırma adımındaki performans açısından kıyaslamak büyük ilgi görecektir, çünkü bunun toplam eğitim süresi üzerinde önemli bir etkisi olabilir ve bunun uygulanması önemsiz bir sorun değildir. çeşitli yaklaşımların olduğu yer.  Uzak bir depolama biriminden veri yükleme sağlayan kütüphaneler üzerine yapılan araştırma ve bunların yerel depolama deneyleriyle karşılaştırılabilir sonuçlar vermesi, bizi bir ağ üzerinden veri akışı için bir önbellekleme politikası formüle etme ve tasarlama fikrini keşfetmeye teşvik etti. Bu ortamda, bir veri noktasının (örn. görüntünün) aktarılması gereken sürelerin azaltılması, genel eğitim süresini (ve muhtemelen ağ kullanımı ücretliyse maliyetleri) önemli ölçüde kısaltabilir. Eğitim sırasında bir ağ veri kümesini önbelleğe alma fikri yeni değildir (Mohan ve diğerleri, 2020). Yine de, eğitim ve veri akışı tartışılırken genellikle tüm veri kümesinin önbelleğe alınabileceği varsayılır. Ayrıca geleneksel olarak olduğu gibi tüm örneklerin dönem başına bir kez kullanılacağı varsayılmaktadır (Kumar ve Sivathanu, 2020). Önbellek boyutu küçük olduğunda ne olacağını araştırmakla ve ayrıca her veri noktasının çağ başına bir kez kullanılması zorunluluğunu ortadan kaldırmakla ilgileniyoruz. Böyle bir formülasyon aktif öğrenmeden, veri özetlemeden ve müfredat öğreniminden ödünç alınmalıdır.  Bu makale   . arxiv'de CC 4.0 lisansı altında mevcuttur

Part of HackerNoon's growing list of open-source research papers, promoting free access to academic material.

Read My Stories

We cover the most cutting edge academic research and expert blog posts on serialization. Also big fans of the Serial pod

Serialization's blog

Bu ses hikayenin orijinal dilinde üretilmiştir!

Çok uzun; Okumak

Boost your HackerNoon story @ $159.99! 🚀

Veri Yükleyici Ortamına Genel Bakış: Tartışma

About Author

YORUMLAR

ETİKETLERİ ASIN

BU YAZI

Related Stories

Floki'den Valhalla Hindistan'ın Sri Lanka Turuna Yardımcı Sponsor Olarak Katıldı

Dijital Göçebeler Dinleyin: Tayland'ın Yeni DTV Vizesi Hakkında Bilmeniz Gerekenler

HackerNoon Kendi Ana Dilinizde 🆕 ‼️ Teknoloji Blog Yazıları için 77 Dil Ana Sayfası

AI/ML Datalake için Referans Mimarisi Oluşturmaya Yönelik Mimar Kılavuzu

Floki'den Valhalla Hindistan'ın Sri Lanka Turuna Yardımcı Sponsor Olarak Katıldı

Dijital Göçebeler Dinleyin: Tayland'ın Yeni DTV Vizesi Hakkında Bilmeniz Gerekenler

HackerNoon Kendi Ana Dilinizde 🆕 ‼️ Teknoloji Blog Yazıları için 77 Dil Ana Sayfası

AI/ML Datalake için Referans Mimarisi Oluşturmaya Yönelik Mimar Kılavuzu

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps