Yapay Zekanız için En İyi Sunucuyu, CPU'yu ve GPU'yu Nasıl Seçersiniz?

Üretken yapay zekanın ve pratik uygulamalarının gelişmesiyle birlikte, yapay zekaya yönelik sunucular oluşturmak, otomotiv üretiminden tıbba kadar çeşitli endüstrilerin yanı sıra eğitim ve devlet kurumları için de kritik hale geldi.

Yapay zeka için sunucu seçimini etkileyen en önemli bileşenleri ele alalım: merkezi işlem birimi (CPU) ve grafik işlem birimi (GPU). Uygun işlemci ve grafik kartlarını seçmek, yüksek performanslı bir platform kurmanıza ve özel veya sanal (VPS) bir sunucu üzerinde yapay zeka ile ilgili hesaplamaları önemli ölçüde hızlandırmanıza olanak sağlayacaktır.

Anında dağıtımla GPU sunucuları kiralayın veya bir sunucuya sahip özel yapılandırma profesyonel kalitede NVIDIA Tesla H100 / H100 80Gb veya RTX A5000 / A4000 kartlarıyla. Oyun RTX4090 kartlarına sahip GPU sunucuları ayrıca mevcuttur.

Yapay zeka sunucunuz için doğru işlemciyi nasıl seçersiniz?

İşlemci, kullanıcılardan komutlar alan ve istenen sonuçları verecek "komut döngülerini" gerçekleştiren ana "hesap makinesidir". Bu nedenle, bir AI sunucusunu bu kadar güçlü kılan şeyin büyük bir kısmı CPU'dur.

AMD ve Intel işlemciler arasında bir karşılaştırma bekleyebilirsiniz. Evet, bu iki endüstri lideri, x86 tabanlı CISC işlemcilerin zirvesini temsil eden Intel 5. nesil Intel® Xeon® (ve halihazırda duyurulan 6. nesil) ve AMD EPYC™ 8004/9004 serisiyle işlemci üretiminde ön sıralarda yer alıyor.

Olgun ve kanıtlanmış bir ekosistemle birlikte mükemmel performans arıyorsanız, bu çip üreticilerinin birinci sınıf ürünlerini seçmek doğru seçim olacaktır. Bütçe sizin için önemliyse Intel® Xeon® ve AMD EPYC™ işlemcilerin eski sürümlerini düşünün.

İş yükünüz çok sayıda çekirdek ve çoklu iş parçacığı kapasitesi gerektirmiyorsa, AMD'nin veya Nvidia'nın üst düzey modellerinin masaüstü CPU'ları bile yapay zeka ile çalışmak için iyi bir başlangıç noktası olabilir. Uygulamada, dil modelleri söz konusu olduğunda, grafik hızlandırıcı seçimi veya sunucuda kurulu RAM miktarı, CPU türleri arasındaki seçimden daha büyük etkiye sahip olacaktır.

Mixtral'ın 8x7B modeli gibi bazı modeller, bir CPU üzerinde çalıştırıldığında video kartlarında bulunan tensör çekirdeklerinin hesaplama gücüyle karşılaştırılabilir sonuçlar üretebilirken, aynı zamanda CPU + GPU paketinden 2-3 kat daha fazla RAM gerektirirler. Örneğin, 16 GB RAM ve 24 GB GPU video belleğiyle çalışan bir model, yalnızca CPU üzerinde çalışırken 64 GB'a kadar RAM gerektirebilir.

AMD ve Intel'in yanı sıra başka seçenekler de mevcut. Bunlar, ARM çekirdeklerini patentli NVIDIA özellikleriyle birleştiren NVIDIA Grace™ veya Ampere Altra™ gibi ARM mimarisine dayalı çözümler olabilir.

Yapay zeka sunucunuz için doğru grafik işlem birimini (GPU) nasıl seçersiniz?

GPU, günümüzde yapay zeka sunucu işlemlerinde giderek daha önemli bir rol oynamaktadır. CPU'nun sinir ağlarına yönelik isteklerini çok daha hızlı ve daha verimli bir şekilde işlemesine yardımcı olan bir hızlandırıcı görevi görür. GPU, görevleri daha küçük bölümlere ayırabilir ve bunları paralel hesaplama veya özel çekirdekler kullanarak aynı anda gerçekleştirebilir. Örneğin, NVIDIA'nın tensör çekirdekleri, Transformer Engine, Tensor Float 32 (TF32) ve FP16 ile 8 bit kayan nokta (FP8) hesaplamalarında çok daha yüksek performans sağlayarak yüksek performanslı bilgi işlemde (HPC) mükemmel sonuçlar verir.

Bu özellikle çıkarım sırasında (sinir ağının çalışması) değil, eğitim sırasında (örneğin FP32'li modellerde olduğu gibi) fark edilir, bu süreç birkaç hafta, hatta aylar sürebilir.

Arama kriterlerinizi daraltmak için aşağıdaki soruları göz önünde bulundurun:

• Yapay zeka sunucunuzun iş yükünün niteliği zamanla değişecek mi? Çoğu modern GPU çok özel görevler için tasarlanmıştır. Çiplerinin mimarisi, yapay zeka geliştirme veya uygulamasının belirli alanlarına uygun olabilir ve yeni donanım ve yazılım çözümleri, önceki nesil GPU'ları yalnızca birkaç yıl içinde (1-2-3) kullanılmaz hale getirebilir.
• Esas olarak yapay zeka eğitimine mi yoksa çıkarıma (kullanım) mı odaklanacaksınız? Bu iki süreç, sınırlı bellek bütçesine sahip tüm modern yapay zeka yinelemelerinin temelini oluşturur.

Eğitim sırasında yapay zeka modeli, milyarlarca hatta trilyonlarca parametre içeren büyük miktarda veriyi işler. Sürekli olarak doğru sonuçlar üretene kadar algoritmalarının "ağırlıklarını" ayarlar.

Çıkarım modunda yapay zeka, gerçek dünyadaki yeni girdi verilerine yanıt vermek için eğitiminin "hafızasına" güvenir. Her iki işlem de önemli miktarda hesaplama kaynağı gerektirir, bu nedenle hızlandırma için GPU'lar ve genişletme modülleri kurulur.

Grafik işlem birimleri (GPU'lar), bu süreci optimize edebilecek özel çekirdeklere ve mekanizmalara sahip derin öğrenme modellerini eğitmek için özel olarak tasarlanmıştır. Örneğin, NVIDIA'nın 8 GPU çekirdeğine sahip H100'ü, FP8 derin öğrenmede 32 petafloptan fazla performans sağlıyor. Her H100, FP8 adı verilen yeni bir veri türünü ve optimizasyon için bir "Transformer Engine"i kullanan dördüncü nesil tensör çekirdeklerini içerir. Yakın zamanda NVIDIA, daha da güçlü olacak yeni nesil GPU'ları B200'ü tanıttı.

AMD çözümlerine güçlü bir alternatif ise AMD Instinct™ MI300X'tir. Özelliği, büyük dil modelleri (LLM) gibi çıkarım tabanlı üretken yapay zeka uygulamaları için önemli olan büyük bellek kapasitesi ve yüksek veri bant genişliğidir. AMD, GPU'larının NVIDIA çözümlerinden %30 daha verimli olduğunu ancak daha az olgun yazılıma sahip olduğunu iddia ediyor.

Bütçe kısıtlamalarına uymak için performanstan biraz fedakarlık etmeniz gerekiyorsa veya yapay zekayı eğitmek için veri kümeniz çok büyük değilse AMD ve NVIDIA'nın diğer seçeneklerini değerlendirebilirsiniz. Çıkarım görevleri için veya eğitim için 7/24 modda sürekli çalışmanın gerekli olmadığı durumlarda, Nvidia RTX 4090 veya RTX 3090 tabanlı "tüketici" çözümleri uygun olabilir.

Model eğitimi için uzun vadeli hesaplamalarda kararlılık arıyorsanız NVIDIA'nın RTX A4000 veya A5000 kartlarını düşünebilirsiniz. PCIe veriyoluna sahip H100, görevlere bağlı olarak %60-80 performansla daha güçlü bir çözüm sunsa da RTX A5000 daha erişilebilir bir seçenektir ve belirli görevler (8x7B gibi modellerle çalışmak gibi) için en uygun seçim olabilir.

Daha egzotik çıkarım çözümleri için AMD Alveo™ V70, NVIDIA A2/L4 Tensor Core ve Qualcomm® Cloud AI 100 gibi kartları düşünebilirsiniz. Yakın gelecekte AMD ve NVIDIA, AI eğitim pazarında Intel'in GPU Gaudi 3'ünden daha iyi performans göstermeyi planlıyor. .

Tüm bu faktörleri göz önünde bulundurarak ve HPC ve AI için yazılım optimizasyonunu dikkate alarak, NVIDIA'nın Intel Xeon veya AMD Epyc işlemcilerine ve GPU'larına sahip sunucuları öneriyoruz. Yapay zeka çıkarım görevleri için RTX A4000/A5000'den RTX 3090'a kadar GPU'ları kullanabilirsiniz; çok modlu sinir ağları üzerinde eğitim ve çalışma için ise RTX 4090'dan A100/H100'e kadar olan çözümlere bütçe ayırmanız önerilir.

Anında dağıtımla GPU sunucuları kiralayın veya bir sunucuya sahip özel yapılandırma profesyonel kalitede NVIDIA Tesla H100 / H100 80Gb veya RTX A5000 / A4000 kartlarla. Oyun RTX4090 kartlarına sahip GPU sunucuları ayrıca mevcuttur.