Bir zincir, en zayıf halkası kadar güçlüdür ve AI/ML altyapınız yalnızca en yavaş bileşeniniz kadar hızlıdır. Makine öğrenimi modellerini GPU'larla eğitiyorsanız zayıf bağlantınız depolama çözümünüz olabilir. Sonuç, benim "Açlıktan Ölen GPU Sorunu" adını verdiğim şeydir. Starving GPU sorunu, ağınız veya depolama çözümünüz, eğitim verilerini GPU'larınızı tam olarak kullanmaya yetecek kadar hızlı bir şekilde eğitim mantığınıza sunamadığında ortaya çıkar. Belirtiler oldukça açıktır. GPU'larınızı izliyorsanız, bunların hiçbir zaman tam olarak kullanılmaya yaklaşamayacağını fark edeceksiniz. Eğitim kodunuzu ayarladıysanız, toplam eğitim süresine IO'nun hakim olduğunu fark edeceksiniz.  Ne yazık ki bu sorunla boğuşanlara kötü bir haber var. Bu sorunun önümüzdeki yıllarda nasıl daha da kötüleşeceğini anlamak için GPU'larda kaydedilen bazı ilerlemelere bakalım.  GPU’lar Hızlanıyor  GPU’lar hızlanıyor. Yalnızca ham performans iyileşmekle kalmıyor, aynı zamanda bellek ve bant genişliği de artıyor. Nvidia'nın en yeni GPU'larının bu üç özelliğine bir göz atalım.  ,  ve  .   A100   H100   H200  GPU  VERİM  HAFIZA  BELLEK BANT GENİŞLİĞİ  A100  624 TFLOP  40GB  1.555 GB/sn  H100  1.979 TFLOP  80GB  3,35 TB/sn  H200  1.979 TFLOP  141 GB  4,8 TB/sn   Yukarıdaki tablo, A100 için PCIe (Çevresel Bileşen Bağlantı Ekspres) soket çözümü ve H100 ve H200 için SXM (Sunucu PCI Express Modülü) soket çözümüyle uyumlu istatistikleri kullanır. A100 için SXM istatistikleri mevcut değildir. Performans açısından karşılaştırma için Kayan Nokta 16 Tensör Çekirdeği istatistiği kullanılır.  Yukarıdaki istatistiklere ilişkin birkaç gözlemi belirtmeye değer. İlk olarak, H100 ve H200 aynı performansa sahiptir (1.979 TFLOPS), bu da A100'den 3,17 kat daha fazladır. H100, A100'den iki kat daha fazla belleğe sahip ve bellek bant genişliği de benzer miktarda arttı; aksi takdirde GPU kendini aç bırakacaktı. H200, 141 GB gibi devasa bir belleği işleyebilir ve bellek bant genişliği de diğer GPU'lara göre orantılı olarak artırılmıştır.  Bu istatistiklerin her birine daha ayrıntılı olarak bakalım ve makine öğrenimi için ne anlama geldiğini tartışalım.    - Bir teraflop (TFLOP), saniyede bir trilyon (10^12) kayan nokta işlemidir. Bu, arkasında 12 sıfır bulunan 1'dir (1.000.000.000.000). Model eğitimi sırasında meydana gelen kayan nokta işlemleri basit tensör matematiğinin yanı sıra kayıp fonksiyonuna (diğer adıyla gradyanlar) karşı ilk türevleri içerdiğinden, TFLOP'ları gigabayt cinsinden IO talebine eşitlemek zordur. Ancak göreceli karşılaştırmalar mümkündür. Yukarıdaki istatistiklere baktığımızda, her ikisi de 1.979 TFLOPS hızında çalışan H100 ve H200'ün 3 kat daha hızlı olduğunu görüyoruz; diğer her şey buna ayak uydurabilirse potansiyel olarak verileri 3 kat daha hızlı tüketiyor. Performans    - Video RAM veya Grafik RAM olarak da bilinir. GPU belleği, sistemin ana belleğinden (RAM) ayrıdır ve grafik kartı tarafından gerçekleştirilen yoğun grafik işlem görevlerini yerine getirmek üzere özel olarak tasarlanmıştır. GPU belleği, modelleri eğitirken parti boyutunu belirler. Geçmişte eğitim mantığı CPU'dan GPU'ya taşınırken toplu iş boyutu azaltılıyordu. Ancak GPU belleği kapasite açısından CPU belleğini yakaladıkça GPU eğitimi için kullanılan parti boyutu artacaktır. Performans ve bellek kapasitesi aynı anda arttığında, her gigabaytlık eğitim verisinin daha hızlı işlendiği daha büyük talepler ortaya çıkar. GPU Belleği    - GPU bellek bant genişliğini, belleği ve hesaplama çekirdeklerini birbirine bağlayan "otoyol" olarak düşünün. Birim zamanda ne kadar veri aktarılabileceğini belirler. Tıpkı daha geniş bir otoyolun belirli bir sürede daha fazla arabanın geçmesine izin vermesi gibi, daha yüksek bellek bant genişliği de bellek ile GPU arasında daha fazla verinin taşınmasına olanak tanır. Gördüğünüz gibi bu GPU'ların tasarımcıları her yeni sürüm için bellek bant genişliğini bellekle orantılı olarak artırdı; bu nedenle çipin dahili veri yolu darboğaz olmayacaktır. Bellek Bant Genişliği  Geleceğe Bir Bakış  Ağustos 2023'te Nvidia  hızlandırılmış bilgi işlem ve üretken yapay zeka için yeni nesil platformu - GH200 Grace Hopper Superchip Platformu. Yeni platform şunu kullanıyor:  tarafından ek Süper Çiplerle bağlanabilen  model eğitimi ve çıkarım sırasında birlikte çalışmalarına olanak tanır.   duyuruldu   Grace Hopper Süper Çip   NVIDIA NVLink  Grace Hopper Superchip'in tüm özellikleri önceki çiplere göre bir gelişmeyi temsil etse de, AI/ML mühendisleri için en önemli yenilik, birleşik belleğidir. Grace Hopper, GPU'ya CPU belleğine tam erişim sağlar. Bu önemlidir çünkü geçmişte GPU'ları eğitim için kullanmak isteyen mühendisler önce verileri sistem belleğine çekmek, ardından verileri oradan GPU belleğine taşımak zorundaydı. Grace Hopper, verileri GPU'ya almak için CPU belleğini geri dönüş arabelleği olarak kullanma ihtiyacını ortadan kaldırır.  Birkaç temel GPU istatistiğinin yanı sıra Grace Hopper'ın yeteneklerinin basit bir şekilde karşılaştırılması, GPU'ları yükseltmekten ve diğer her şeyin buna ayak uydurabileceğinden emin olmaktan sorumlu olan herkes için biraz korkutucu olsa gerek. Bir depolama çözümünün, bu GPU iyileştirmelerine ayak uydurmak için kesinlikle verileri daha hızlı sunması gerekecektir. Aç GPU sorununa ortak bir çözüme bakalım.  Ortak Bir Çözüm  Bu soruna, kuruluşların mevcut depolama çözümlerini değiştirmelerini veya yükseltmelerini gerektirmeyen, yaygın ve açık bir çözüm bulunmaktadır. Kuruluşunuzun ihtiyaç duyduğu tüm kurumsal özelliklerden yararlanabilmeniz için mevcut depolama çözümünüzü sağlam tutabilirsiniz. Bu depolama çözümü büyük olasılıkla kuruluşunuzun tüm yapısal olmayan verilerini tutan bir Veri Gölü'dür; bu nedenle oldukça büyük olabilir ve toplam sahip olma maliyeti de göz önünde bulundurulmalıdır. Ayrıca yedeklilik, güvenilirlik ve güvenlik için etkinleştirilen ve tamamı performansı etkileyen birçok özelliğe sahiptir.  Ancak yapılabilecek şey, bilgi işlem altyapınızla aynı veri merkezinde bulunan bir depolama çözümü kurmaktır; ideal olarak bu, bilgi işlem altyapınızla aynı kümede olacaktır. Mevcut en iyi depolama aygıtlarına sahip yüksek hızlı bir ağa sahip olduğunuzdan emin olun. Buradan yalnızca makine öğrenimi eğitimi için gereken verileri kopyalayın.  Amazon yakın zamanda duyurdu  bu yaklaşımı örneklendirmektedir. Yüksek aktarım hızı ve düşük gecikme süresi için optimize edilmiş bir paket türüdür ve tek bir Erişilebilirlik Alanıyla sınırlıdır (çoğaltma yoktur). Amazon'un amacı, müşterilerin bunu yüksek hızlı erişim gerektiren verilerin bir kopyasını tutmak için kullanmasıdır. Sonuç olarak, model eğitimi için özel olarak tasarlanmıştır. Amazon'a göre S3 Standard'a göre 8 kat maliyetle 10 kat daha fazla veri erişim hızı sağlıyor. Amazon S3 Express One Zone değerlendirmemiz hakkında daha fazla bilgi edinin  .   Amazon S3 Express Tek Bölge   Burada  MinIO Çözümü  Yukarıda özetlediğim ortak çözüm, AWS'nin S3 depolama çözümünü özel paketler sunarak daha yüksek maliyetle özelleştirmesini gerektiriyordu. Ek olarak, bazı kuruluşlar (MinIO müşterisi olmayanlar) yukarıda anlattığım basit şeyleri yapan özel depolama çözümleri satın alıyorlar. Ne yazık ki, nispeten basit bir sorunu çözmek için yeni bir ürüne ihtiyaç duyulması nedeniyle bu, mevcut altyapıya karmaşıklık katıyor.  Tüm bunların ironisi, MinIO müşterilerinin her zaman bu seçeneğe sahip olmasıdır. NVMe sürücülere sahip yüksek hızlı bir ağ üzerinde yeni bir MinIO kurulumuyla yukarıda anlattıklarımı tam olarak yapabilirsiniz. MinIO, yazılım tanımlı bir depolama çözümüdür; aynı ürün, çeşitli depolama aygıtlarını kullanarak çıplak donanımda veya seçtiğiniz kümede çalışır. Kurumsal Data Lake'iniz, HDD'lerle yalın donanımda MinIO kullanıyorsa ve makine öğrenimi olmayan tüm verileriniz için iyi çalışıyorsa, onu değiştirmenize gerek yoktur. Ancak, GPU kullandığınız için makine öğrenimi için kullanılan veri kümeleri daha hızlı GÇ gerektiriyorsa bu yazıda özetlediğim yaklaşımı göz önünde bulundurun. Yüksek hızlı MinIO örneğinizde kullanmak üzere ML verilerinizin bir kopyasını oluşturduğunuzdan emin olun; güçlendirilmiş bir MinIO kurulumunda her zaman altın bir kopya bulunmalıdır. Bu, yüksek hızlı MinIO örneğinizde çoğaltma ve şifreleme gibi özellikleri kapatmanıza olanak tanıyarak performansı daha da artırır. MinIO'ları kullanarak veri kopyalamak kolaydır  özellik.    yansıtma  MinIO, aç GPU'larınızı beslemek için gereken performansı sağlayabilir.  kullanıma hazır NVMe SSD'lerin yalnızca 32 düğümüyle GET'lerde 325 GiB/s ve PUT'larda 165 GiB/s'ye ulaştı.   son kıyaslama  İndirmek  bugün ve bir veri göl evi oluşturmanın ne kadar kolay olduğunu öğrenin. Herhangi bir sorunuz varsa bizimle iletişime geçmeyi unutmayın.  !   MinIO   Gevşek  Ayrıca   görünür. burada

Developers do. Download MinIO and see for yourself. 

MinIO

Bu ses hikayenin orijinal dilinde üretilmiştir!

Çok uzun; Okumak

Make resilience your competitive advantage

Aç GPU'ların Hızlı Nesne Depolamaya İhtiyacı Var

About Author

YORUMLAR

ETİKETLERİ ASIN

BU YAZI

Related Stories

Bu 18 Geliştirici Aracıyla Üretkenliğinizi Artırın 🚀🔥

Dijital Göçebeler Dinleyin: Tayland'ın Yeni DTV Vizesi Hakkında Bilmeniz Gerekenler

Yapay Zekanın Gücünü Ortaya Çıkarıyoruz. En Son Tekniklerin Sistematik Bir İncelemesi: Özet ve Giriş

Görünmeyen Katmanlar: Kullanıcı Görüşmeleri Neden Yeri doldurulamaz bir Varlıktır?

Bu 18 Geliştirici Aracıyla Üretkenliğinizi Artırın 🚀🔥

Dijital Göçebeler Dinleyin: Tayland'ın Yeni DTV Vizesi Hakkında Bilmeniz Gerekenler

Yapay Zekanın Gücünü Ortaya Çıkarıyoruz. En Son Tekniklerin Sistematik Bir İncelemesi: Özet ve Giriş

Görünmeyen Katmanlar: Kullanıcı Görüşmeleri Neden Yeri doldurulamaz bir Varlıktır?

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps