NVIDIA'nın en son duyurularını takip ederek, sektör uzmanlarıyla konuşarak ve haberleri ve analizleri tarayarak AI Chips'in geleceği hakkında öğrendiklerimiz. keşfetmek bir eğlence olmasının yanı sıra popüler bir temaydı. 2023'te bu konuda biraz geride kaldığımızı hissettik... ama yine de bu önemli mi? NVIDIA hâlâ üstün değil mi – , %80'den fazla pazar payı, sıcak ekmek gibi satılan ve tüm rekorları kıran H100'ler? Evet, ama...o kadar hızlı değil. Yapay zeka çiplerini Her Şeyi Orkestre Et makalelerinde 1 trilyon değerleme HPE Evan Sparks'ın beyninde Yapay Zeka CPO'sunu seçme şansını yakaladıktan sonra, NVIDIA'nın birkaç basın konferansına katılın ve tonlarca haber ve içeriği tarayın. Analizlere gerek kalmaması için 2024'te Yapay Zeka Çipleri hakkında paylaşacak daha incelikli bir görüşümüz var. İşte neler olup bittiği ve bunun Yapay Zeka'nın ilerlemesini nasıl etkilemesi muhtemel. O'Reilly ile birlikte "Yapay Zekada Yenilikler" serimizin Yapay Zeka Çipleri bölümünde NVIDIA, MLPerf kıyaslama rekorlarını kırdı Haberlerle başlayalım. Dün . MLPerf, yapay zeka iş yükü karşılaştırmalarında fiili standarttır ve daha fazla yapay zeka iş yükü ortaya çıktıkça . Geçtiğimiz yıl Generative AI'nın yükselişe geçmesiyle MLPerf, Gen AI iş yüklerini cephaneliğine ekledi. NVIDIA, en son MLPerf gönderimlerinin sonuçlarını açıkladı MLPerf, bu pakete eklemeye devam eder Daha önce Büyük Dil Modeli'ni (LLM) eğitmek için GPT-3 veri setinin tamamının bir kısmını kullanan bir kıyaslama ekleyen , Stabil Difüzyon metinden görüntüye modeline dayanan bir eğitim kıyaslamasıdır. NVIDIA bunların her ikisinde de başarılı oldu ve birkaç tane daha. . MLPerf'e en son eklenen Intel ve Google ayrıca yapay zeka eğitiminde büyük kazanımlarla övünüyor 10.752 adet ve ağıyla desteklenen bir yapay zeka süper bilgisayarı olan , bir milyar jeton üzerinde eğitilen 175 milyar parametreye sahip GPT-3 modelini temel alan bir eğitim kıyaslamasını yalnızca 3,9 dakikada tamamladı. NVIDIA H100 Tensor Core GPU NVIDIA Quantum-2 InfiniBand NVIDIA Eos Bu, testin altı aydan kısa bir süre önce sırada NVIDIA'nın kırdığı rekor olan 10,9 dakikaya göre neredeyse 3 kat artış anlamına geliyor. Tahminleme yoluyla, Eos artık bu LLM'yi yalnızca sekiz günde, 512 A100 GPU kullanan önceki son teknoloji sistemden 73 kat daha hızlı eğitebiliyordu. Stabil Difüzyon testinin tamamlanması 1.024 2,5 dakikasını aldı. tanıtıldığı NVIDIA Hopper mimarili GPU'nun Ama hepsi bu değil. NVIDIA'nın belirttiği gibi şirket, tüm MLPerf testlerini gerçekleştiren tek şirket oldu ve dokuz kıyaslamanın her birinde en hızlı performansı ve en büyük ölçeklendirmeyi gösterdi. Süper bilgisayarlarda yapay zeka destekli simülasyonlar için ayrı bir kıyaslama olan MLPerf HPC'de H100 GPU'lar, NVIDIA A100 Tensor Core GPU'ların performansının iki katına kadar çıktı. son HPC turunda Yapay zeka modellerini eğitme seçenekleri Şimdi bu sonuçları açmaya başlayalım. Dikkat edilmesi gereken ilk şey ölçeğin çeşitli boyutlarıdır. 4.608 adet H100 içeriyordu. Bugün 10.752'ye sahiptir. Ancak Eos ölçeğinden ve performansından yararlanan tek kişi NVIDIA değil. Eos ilk duyurulduğunda Şirketin belirttiği gibi, son turda hem Eos hem de Microsoft Azure tarafından hızlandırıcılar, sistemler ve yazılımlardaki yeniliklerden oluşan tam kapsamlı bir platform kullanıldı. Azure tüm kategorilerde başvuruda bulunmadı ancak her ikisinin de gönderildiği GPT-3 karşılaştırmasında sonuçlar hemen hemen aynıydı. Azure'un örneği de ticari olarak mevcuttur. Dahası, Eos'un ölçeklendirme verimliliği %80'in üzerindeydi. İdeal olarak, GPU sayısının iki katı, performansın iki katı olacaktır. Bu ölçekte bunun %80'ini elde etmek oldukça büyük bir başarı. NVIDIA bunu donanım, yazılım ve ağ birleşiminden oluşan yığınına bağladı. Buradan çıkan sonuç, NVIDIA GPU'ların elde ettiği performansı ve ölçeklendirmeyi tanımlamak için kullanılan " "nın hala yürürlükte olduğudur. Ama belki de asıl soru bunu kimin ve neden umursaması gerektiğidir. Jensen Yasası Bu tür bir ölçeklendirme, hiper ölçekleyiciler dışında kimsenin isteseler bile normalde halledebileceği bir şey değildir. NVIDIA H100 GPU'ların her birinin fiyatı yaklaşık 30.000 dolar olmasına rağmen tedarik sıkıntısı yaşanıyor. belirttiği gibi, kuruluşlar stoklama yarışı içindedir. Ancak iyi haberler de var. Yapay Zekanın Durumu 2023 raporunun Öncelikle, NVIDIA çipleri oldukça uzun bir kullanım ömrü değerine sahiptir: piyasaya sürülmesinden popülerliğin zirvesine kadar 5 yıl. 2017 yılında piyasaya sürülen NVIDIA V100, hala yapay zeka araştırmalarında en yaygın kullanılan çiptir. Bu, 2020'de piyasaya sürülen A100'lerin, V100'ün dip noktasına ulaşmasının muhtemel olduğu 2026'da zirveye ulaşabileceğini gösteriyor. Ayrıca, yeni bir Nesil Yapay Zeka modelini sıfırdan eğitmenin çoğu kuruluşun yapması gereken bir şey olup olmadığı da sorgulanabilir. Kuruluşların çoğunluğu muhtemelen uygulamalara güç sağlamak için yalnızca önceden eğitilmiş Nesil Yapay Zeka modellerini kullanacak veya bir API üzerinden ChatGPT gibi bir şeyi kullanmayı seçecektir. Bu seçeneklerin her ikisi de tam olarak sıfır GPU gerektirir. İşin diğer tarafı ise elbette bu seçeneklerin her ikisinin de sıfır özerklik ve güvenlik sağlamasıdır. Ancak şirket içi Nesil Yapay Zeka geliştirmeyi seçen kuruluşlar için bile, bir şeyi sıfırdan eğitmek muhtemelen çoğu kişi için en mantıklı şey değildir. Kullanıma hazır bir açık kaynak Gen Yapay Zeka modelini alıp ince ayar veya RAG (Geri Alma Artırılmış Üretim) yoluyla özelleştirmek çok daha hızlı ve kolaydır ve yalnızca çok küçük bir işlem gerektirir. NVIDIA rakipleri nasıl yetişebilir? Her iki durumda da, buradaki uzun bakış açısı, NVIDIA'nın yaptığı yöntemin ölçeklendirilmesinin daha kısa sürede daha güçlü AI modellerini mümkün kılacağı yönündedir. Bu, daha güçlü GPT benzeri modeller, açık kaynaklı modeller veya türev uygulamalar anlamına gelse de, sonuçların yavaş yavaş azalmasını bekleyebiliriz. Ancak burada dikkate alınması gereken başka bir dizi soru daha var. NVIDIA'nın hakimiyeti sektör için iyi bir şey mi? Sürebilir mi ve sürmeli mi? Rekabet ne durumda? Peki dünyanın geri kalanı neden umursasın ki? Benim ve diğerlerinin de belirttiği gibi, NVIDIA'nın üstünlüğü yalnızca donanımına değil, aynı zamanda yığınının tamamına da dayanıyor. Dahası, gibi NVIDIA, tedarik zinciri yönetimi, satış stratejileri ve paketlemeyle ilgili olarak çok az kişinin taklit edebileceği bir dizi iş taktiğini de kullanıyor. Ancak bu, rekabetin durduğu anlamına da gelmiyor. analist Dylan Patel'in belirttiği Süper bilgisayarlar ve ölçeklendirme söz konusu olduğunda NVIDIA'nın Eos'u kesinlikle şehirdeki tek oyun değil. Sparks'ın da belirttiği gibi, çevrimiçi olmak üzere. Ayrıca dünyada farklı üreticilere ait çeşitli çip ve mimarilere sahip başka birçok süper bilgisayar var ve bunların hepsi yüksek performanslı kayan nokta aritmetiği yapabiliyor. Intel'in 60.000 adet Ponte Vecchio GPU'sunu içeren Aurora'sı NVIDIA, yapay zeka iş yüklerine odaklanan ilk şirket olması nedeniyle bir avantaja sahip ancak gelecek vaat eden rakiplerinin her birinin yetişmesi gereken bir yol haritası var. Yakın zamana kadar NVIDIA'nın yazılım katmanı olan CUDA'nın şirketin en büyük hendeği olduğunu düşünüyorduk. gibi birçok makine öğrenimi çerçevesi gelip geçti, ancak çoğu büyük ölçüde NVIDIA'nın CUDA'sından yararlanmaya güvendi ve en iyi performansı NVIDIA GPU'larda gösterdi. Ancak PyTorch 2.0 ve OpenAI'nin Triton'unun gelişiyle birlikte, NVIDIA'nın bu alandaki hakim konumu, özellikle yazılım hendeği nedeniyle bozuluyor. Bu çerçeveler NVIDIA'nın rakiplerinin kendi yığınlarını oluşturmasını kolaylaştırıyor. Patel'in belirttiği Elbette Patel, özetleyen farklı bir notta eklediği gibi, NVIDIA'nın elinde durmuyor. NVIDIA son derece başarılı olsa da aynı zamanda sektördeki en paranoyak firmalardan biri; CEO Jensen Huang Andy Grove'un ruhunu temsil ediyor. NVIDIA'nın ekibinin şu anda donanım mühendislerinden iki kat daha fazla yazılım mühendisi çalıştırdığını vurgulaması tesadüf değil. NVIDIA'nın rakiplerinin önünde kalma planını Başarı rehaveti doğurur. Kayıtsızlık başarısızlığı doğurur. Sadece paranoyaklar hayatta kalır. Andy Grove Rekabet, ölçek, performans ve TCO Patel, NVIDIA'nın bazı taktiklerini sorgulayacak kadar ileri gidiyor ki bu bizim hakkında hiçbir fikrimiz yok. Söyleyebileceğimiz şey, NVIDIA'nın acımasızlığı onları rehavete kaptırmasa da, tek bir satıcının sahip olmasının pek sağlıklı olmadığıdır. Rekabetin hız kazandığını görmek muhtemelen herkes için iyi bir şey olacaktır. çok uzun süre %80'in üzerinde pazar payına Bu noktada hiper ölçekleyiciler, AMD ve Intel gibi yerleşik rakipler ve bir grup yeni girişim, 2024 ve sonrası için kendi özel yapay zeka çipleri üzerinde çalışıyor. tahmin ediliyor. Herkesin eylemin bir parçası olmak ve/veya özerkliğini artırmak istemesine şaşmamak gerek. Tüketiciler için . NVIDIA'nın, yine arz sıkıntısı çeken H100'lerde %1000'lik bir marja sahip olduğu daha fazla rekabet, daha fazla seçenek ve özerkliğin yanı sıra daha iyi performans ve fiyatlar anlamına gelecektir Ancak şimdilik bir veya iki dipnotla da olsa NVIDIA hala tartışmasız lider. Örneğin, NVIDIA'nın MLPerf sonuçlarını Intel'in Gaudi'siyle doğrudan karşılaştırması istendiğinde, NVIDIA Hızlandırılmış Bilgi İşlem Grubu ürün pazarlama direktörü Dave Salvator iki şeye dikkat çekti. İlk olarak, Gaudi sunumları 10K ölçeğinin yakınında değildi. İkincisi, NVIDIA sonuçları normalleştirilmiş bazda yaklaşık 2 kat daha iyiydi. Ancak analist Karl Freund gibi diğerleri . Gaudi2'nin güvenilir bir alternatif olduğunu düşünüyor Dipnot #1: MLPerf sektörde geniş çapta kabul gören bir referanstır. Ancak tüm kıyaslamalar gibi mükemmel değil. Sparks'ın belirttiği gibi MLPerf'te eksik olan önemli unsurlardan biri fiyatlandırmadır. Fiyatlandırmayı herhangi bir karşılaştırma ölçütüne dahil etmenin birçok nedenden ötürü zor olması anlaşılır olsa da, bu aynı zamanda sonuçların bir bağlama oturtulması gerektiği anlamına da gelir. Örneğin Patrick Kennedy'nin analizine göre . Intel'in Gaudi2'si, NVIDIA'nın H100'ünden dolar başına 4 kat daha iyi performansa sahip Dipnot #2: Potansiyel alıcılar için önemli olan tek ölçü nadiren tek başına performanstır. Çoğu zaman en önemli şey performans/maliyet oranıdır: Belirli bir zaman diliminde belirli bir işlemi gerçekleştirmenin maliyeti ne kadardır. Bu ölçüye ulaşmak için yapay zeka çiplerinin toplam sahip olma maliyetinin (TCO) hesaba katılması gerekiyor. Bu, derin uzmanlık gerektiren karmaşık bir çalışmadır. Yapay zeka çipleri için TCO'nun büyük bir kısmı çıkarımdan, yani üretimde eğitimli yapay zeka modellerinin kullanılmasından oluşuyor. Bir yapay zeka modelinin eğitimi genellikle maliyetli ve karmaşık bir çabadır. Çıkarım, kıyaslandığında daha basit olabilir, ancak genellikle bir modelin ömrünün ve işletme maliyetinin büyük kısmını oluşturur. Eğitim ve çıkarım iş yükleri farklı özelliklere sahiptir. Bu, eğitimde iyi performans gösteren bir sistemin, çıkarımlarda da aynı derecede iyi performans göstermeyebileceği anlamına gelir. Örnek olarak Salvator'dan Eos'un çıkarım performansı hakkında yorum yapması istendiğinde katılımcıları gelecekteki brifinglere yönlendirdi. Bu arada insanlar , diğerleri . çıkarım odaklı yeni sistemler kurarken mevcut olanlardan en iyi şekilde yararlanmaya çalışıyor Çözüm NVIDIA, liderliğinin yakın gelecekte azalma belirtileri göstermediğini gösterdi. Ancak bu dünyanın geri kalanı için mutlaka iyi bir şey değil. Rekabet var ve bu noktada her ne kadar uzak görünse de, yetişme şansı da var. 2024'teki AI çipleri dikkat edilmesi gereken bir şey olacak. Her durumda, AI geliştirmeyi ve kullanmayı amaçlayan kuruluşlar için karşılaştırmalı değerlendirmelerin gerçek etki, kullanılabilirlik ve TCO'ya nasıl dönüştüğü doğrusal değildir. Orchestrat All the Things Bültenine Katılın Teknoloji, Veri, Yapay Zeka ve Medyanın birbirlerine nasıl akarak hayatlarımızı şekillendirdiğine dair hikayeler. Analizler, Denemeler, Röportajlar ve Haberler. Orta-uzun form, ayda 1-3 kez. da yayınlandı. Burada
