Su naujo Blackwell lustų kartos išleidimo vartotojų GPU rinkoje, buvo tikimasi pamatyti darbo stoties versijas GPU taip pat - versijos, skirtos pakeisti A5000 / A6000 serijos ir kainuoja žemiau nei A100 / H100 lygio GPU. Taip atsitiko, bet per šį procesą NVIDIA visiškai supainiojo visus, išleisdama ne mažiau kaip tris RTX PRO 6000 Blackwell versijas vos per šešis mėnesius. „HOSTKEY“ prisijungė prie našumo lenktynių, išleisdama naujausią versiją – „RTX PRO 6000 Blackwell Server Edition“ – kruopščiai ją išbandė, ir mes turime keletą rezultatų pasidalinti (ir parodyti). 
 
 
 
 
 Išbandykite serverį su NVIDIA RTX 6000 PRO 96 GB – nemokamai! Susisiekite su mūsų pardavimų komanda, kad sužinotumėte apie bandymų sąlygas.* Pasiekti mus * - GPU pateikiamas nemokamai išbandyti individualiai ir nėra prieinamas visais atvejais. Try the server with NVIDIA RTX 6000 PRO 96 GB — for free! Susisiekite su mūsų pardavimų komanda, kad sužinotumėte apie bandymų sąlygas.* Pasiekti mus * - GPU pateikiamas nemokamai išbandyti individualiai ir nėra prieinamas visais atvejais. Kas tu esi? Jei pažvelgsite į „Nvidia“ svetainėje matome šią nuotrauką: GPU specifikacijos GPU specifikacijos Mes turime tris vaizdo plokštės parinktis, kurios skiriasi formos veiksniu, aušinimo sistemos tipu ir didžiausiu energijos suvartojimu. Iš pirmo žvilgsnio galima daryti prielaidą, kad vidurinė versija (Workstation Edition) turėtų būti greičiausia ir greičiausiai karščiausia, atsižvelgiant į jos energijos suvartojimą. Palyginkime jų specifikacijas išsamiau ir palyginkime jas su greičiausiu RTX 5090D. 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 Workstation Edition 
 Max-Q Workstation edition 
 Server Edition 
 RTX 5090 
 
 
 
 
 
 
 CUDA Parallel Processing cores 
 24064 
 24064 
 24064 
 21760 
 
 
 
 
 
 
 Single-Precision Performance (FP32) 
 125 TFLOPS 
 125 TFLOPS 
 120 TFLOPS 
 103 TFLOPS 
 
 
 
 
 
 
 RT Core Performance 
 380 TFLOPS 
 333 TFLOPS 
 355 TFLOPS 
 - 
 
 
 
 
 
 
 Memory Bandwidth 
 1792 GB/s 
 1792 GB/s 
 1597 GB/s 
 1792 GB/sec 
 
 
 
 
 
 
 GPU Memory 
 96 GB GDDR7 with ECC 
 96 GB GDDR7 with ECC 
 96 GB GDDR7 with ECC 
 32 GB GDDR7 
 
 
 
 
 
 
 Memory Interface 
 512-bit 
 512-bit 
 512-bit 
 512-bit 
 
 
 
 
 
 
 Power Consumption 
 Up to 600W (Configurable) 
 300W 
 600W 
 575W Paralelinis spalvų apdorojimas 24064 24064 24064 21760 Vieno tikslumo efektyvumas (FP32) 125 psl 125 psl 120 psl 103 plokštės RT Core veikimas 380 psl 333 TFLOPS 355 TFLOPS - Atminties pralaidumas 1792 GB / s 1792 GB / s 1597 GB / s 1792 GB / sek GPU atmintis 96 GB GDDR7 su ECC 96 GB GDDR7 su ECC 96 GB GDDR7 su ECC 32 GB GDDR7 Atminties sąsaja 512 bitų 512 bitų 512 bitų 512 bitų Energijos suvartojimas Iki 600W (įmanoma konfigūruoti) 300W 600W 575W GPU, kurį mes išbandėme (RTX 6000 Blackwell Server Edition) yra silpniausia linijoje (nors galima tikėtis, kad serverio versija bus galingesnė nei "Workstation" leidimas), tačiau ji vis dar pranoksta vartotojų klasės RTX 5090 dėl didesnio branduolio skaičiaus ant lusto. Pagrindinis Server Edition bruožas yra jo pasyvus aušinimas, kuris naudoja standartinį serverio šasios oro srautą.Dėl savo kompaktiško dydžio jis leidžia vienu metu išdėstyti didelį skaičių GPU iš eilės (nuotrauka iš parodos). Surinkti serverį Mes išbandysime šį GPU naudojant šią konfigūraciją: 
 
 
 
 
 
 Serverių platforma iš ASUS AMD EPYC 9554 procesorius 768 GB DDR5 RAM 2 x 3,84 TB NVMe 1 x RTX 6000 PRO serveris Techniškai platforma palaiko iki 4 GPU, tačiau dėl galios suvartojimo apribojimų be galios apribojimo režimu galima įdiegti ne daugiau kaip du RTX 6000 PRO SERVER GPU. Problema kyla todėl, kad platforma suteikia 4 maitinimo jungtys vienoje pusėje, kurios yra prijungtos prie kortelės per adapterį. Kaip parodyta nuotraukoje, dėžutėje yra galingi ventiliatoriai abiejose pusėse ir specializuotas korpusas, užtikrinantis puikų oro srautą per radiatorius ir GPU komponentus. Dabar apie bandymus Mes atliksime testus dviem būdais: paleisime LLM naudojant Ollama + OpenWebUI diegimą ir vaizdo generavimą su nemokamu WAN2 modeliu ComfyUI. Tiksliau tariant, mes naudosime mūsų neuronų tinklo padėjėją, kuris naudoja kelis RAG (Retrieval-Augmented Generation) modelius ir sąveikauja su išoriniu MCP serveriu. Žvelgiant į ateitį, galime pasakyti, kad palyginimai, susiję su modeliais, visiškai pritvirtintais prie GPU, rodo, kad našumas padidėjo apie 15-20% palyginti su RTX 5090. Norėdami pradėti, mes palyginsime ankstesnės kartos A5000 su RTX 6000 PRO. Palyginimas bus atliekamas mažos galios vartojimo režimu, kur GPU iš tikrųjų sunaudoja iki 450W (padidinimo režimas), o ne 300W maksimalus nurodytas dokumentuose. Mes užduosime mūsų neuroninio tinklo padėjėjui tokį klausimą: "Kaip įdiegti "Nvidia" tvarkykles "Linux"?" 
 
 
 
 
 
 
 
 
 
 
 
 GPU 
 Response Speed, Tokens per Second 
 Response Speed, Tokens per Second 
 Response Speed, Tokens per Second 
 
 
 
 
 
 A5000 (Cold Boot) 
 47.3 
 2700 
 17 
 
 
 
 
 
 RTX 6000 PRO (Cold Boot) 
 103.5 
 8285 
 5 
 
 
 
 
 
 A5000 (Model Already Loaded to GPU) 
 48.2 
 2910 
 13 
 
 
 
 
 
 RTX 6000 PRO (Model Already Loaded to GPU) 
 107 
 11000 
 4 A5000 (šaltoji valtis) 47.3 2700 17 RTX 6000 PRO (šaltas įkroviklis) 103.5 8285 5 A5000 (modelis jau įkeltas į GPU) 48.2 2910 13 RTX 6000 PRO (modelis jau įkeltas į GPU) 107 11000 4 Kaip matote, palyginti su vis dar naudojamu A5000, naujasis GPU yra daugiau nei du kartus galingesnis, o jo atsako greitis (t.y. perjungimas tarp modelių, paieška, užklausos MCP serveryje, apdorojimas ir atsakymų generavimas) yra daugiau nei tris kartus greitesnis. Tačiau RTX 6000 PRO naudojimas tokioms užduotims yra panašus į riešutų plyšimą mikroskopu. Palyginimui, išbandykime tą pačią darbo apkrovą H100 „karštuoju paleidimu“ (kai modelis jau įkrautas). H100 turi 3,5 karto mažiau CUDA šerdžių, mažesnius laikrodžio greičius ir teorinį našumą maždaug 4 kartus mažesnį sintetiniuose atskaitos taškuose, palyginti su RTX 6000 PRO. Tačiau jis gauna naudos iš 4nm proceso mazgo (palyginti su 5nm RTX 6000 PRO), 10 kartų didesnio atminties pralaidumo ir labiau pažangios atminties tipo. 
 
 
 
 
 
 
 
 
 
 GPU 
 Response Speed, Tokens per Second 
 Response Speed, Tokens per Second 
 Response Speed, Tokens per Second 
 
 
 
 
 
 H100 (Model Already Loaded to GPU) 
 60 
 2900 
 4 
 
 
 
 
 
 RTX 6000 PRO (Model Already Loaded to GPU) 
 107 
 11000 
 4 H100 (modelis jau įkeltas į GPU) 60 2900 4 RTX 6000 PRO (modelis jau įkeltas į GPU) 107 11000 4 Nepaisant beveik dvigubo RTX 6000 PRO pranašumo tokenizacijos greičiui, bendras abiejų GPU našumas yra lygus.Tai daro RTX 6000 PRO puikią A100/H100 pakaitalą serverio išvados darbo apkrovose, atsižvelgiant į tai, kad HBM3 pralaidumas duomenų perdavimo metu atsilieka nuo GDDR7. tačiau modelio mokymui ar smulkinimui H100 puikiai tinka dėl sumažėjusio energijos suvartojimo, aparatūros lygio palaikymo per „Transformer Engine“ modeliams su FP16/FP8 tikslumu (H100 palaiko tik FP4) ir gebėjimo pagreitinti užduotis, kai modeliai yra visiškai įkrauti į atmintį (su pralaidumu iki 3 TB/s). Kaip išnaudoti RTX 6000 PRO Daug įdomiau yra išbandyti šį GPU kitoje išteklių intensyvios užduoties, konkrečiai, vaizdo generavimo. Už tai, mes naudosime naują modelį iš Alibaba su atvirais svoriais ir įdiegti viską ComfyUI. Vėlgi, mes susidūrėme su problema: CUDA 12.9 (ir vėlesnės versijos) ir jos suderinamumas su PyTorch. Sprendimas, dar kartą, yra įdiegti iš naktinio builds, kol oficialus palaikymas yra prieinamas: pip install --pre --upgrade --no-cache-dir torch torchvision torchaudio --extra-index-url https://download.pytorch.org/whl/nightly/cu129
 Procesas apima naudojant vaizdo generavimo režimą, pagrįstą perspėjimais (Wan 2.2 14B tekstas į vaizdo įrašą), kuris veikia taip: 
 
 Įspūdinga ir juokinga scena atsiskleidžia ramioje upės kranto pusėje, kur du sunkiai dirbantieji beavers ryškiai geltonuose saugos šalmuose ir kietuose oranžiniuose drabužiuose susiburia, kad sukurtų didžiulę, blizgančią serverio lentyną į jų kruopščiai pastatytą beaver lodžiją. Loge, pastatyta iš žurnalų ir akmenų, yra drąsus, šiuolaikinis ženklas, skaitant „HOSTKEY“ drąsiame, technologiškai įkvėptame tipografijoje. Beavers ryžtingos išraiškos ir serverio lentynos blizgančios šviesos sukuria surrealią gamtos ir technologijų mišinį. Upė spinduliuoja saulės šviesoje, o lodž Įspūdinga ir juokinga scena atsiskleidžia ramioje upės kranto pusėje, kur du sunkiai dirbantieji beavers ryškiai geltonuose saugos šalmuose ir kietuose oranžiniuose drabužiuose susiburia, kad sukurtų didžiulę, blizgančią serverio lentyną į jų kruopščiai pastatytą beaver lodžiją. Loge, pastatyta iš žurnalų ir akmenų, yra drąsus, šiuolaikinis ženklas, skaitant „HOSTKEY“ drąsiame, technologiškai įkvėptame tipografijoje. Beavers ryžtingos išraiškos ir serverio lentynos blizgančios šviesos sukuria surrealią gamtos ir technologijų mišinį. Upė spinduliuoja saulės šviesoje, o lodž Proceso paleidimas trunka maždaug 40 minučių. Atminties naudojimas ir energijos suvartojimas per didžiausią našumą matomi žemiau esančiame ekrane. Maksimali temperatūra niekada neviršijo 83 laipsnių. Generavimas nustatytas 720p/24, nes modelis yra optimizuotas šiai rezoliucijai. Nustatant jį iki 1080p arba didinant kadro greitį GPU gali užšaldyti arba žymiai pratęsti generavimo laiką daugiau nei dvi valandas (mes nelaukėme ilgiau, nes procesas buvo įstrigęs 60%). Jei vietoj to būtų naudojamas WAN 2.2 5B modelis, panašaus vaizdo įrašo (5 sekundžių, 24 kadrų) generavimas užtruktų tik 160 sekundžių. Padidinti galią Kaip minėta anksčiau, GPU turi galios vartojimo režimo jungiklį. Nors šis nustatymas modeliams nebuvo labai naudingas, perjungimas į 600 vatų galios režimą jau suteikia geresnių rezultatų. pagal „nvidia-smi“ skaitymo duomenis, mes sugebėjome iš GPU išgauti papildomą penkių vatų našumą. Vidutiniškai energijos suvartojimas abiejuose režimuose gamybos metu išlieka 200–250 vatų diapazone. Akivaizdu, kad didinant maksimalų energijos suvartojimą pagreitėja gamyba 25 proc., sumažinant ją vidutiniškai iki 30 minučių. Tačiau tai atsitinka dėl žymiai aukštesnės lustų ir komponentų temperatūros. Užduotims, kurioms reikia ilgalaikio GPU veikimo esant sunkioms apkrovoms, patartina išlaikyti sistemą mažo energijos suvartojimo režimu, kad būtų išvengta šiluminio streso. Išvada GPU pasirodė esąs įspūdingas.Jis yra daug stabilesnis nei vartotojų klasės 5090, trūksta dulkių jautrių ventiliatorių, dažnai randamų vartotojų modeliuose, pasižymi puikia atmintimi su pariteto kontrole ir siūlo didesnį laikrodžio greitį. Palyginti su H100, jis yra keturis kartus pigesnis, tuo pačiu užtikrinant panašią (ir kai kuriais atvejais net geresnę) našumą užduotims, nesusijusioms su giliųjų nervų tinklų mokymu. „Inference“, grafikos apdorojimas ir vaizdo tvarkymas yra žymiai greitesni nei ankstesnėse kartose, o naujasis CUDA 13 kartu su naujausia 580 vairuotojų versija dar labiau padidino našumą. Pagrindinis apribojimas yra vairuotojų trūkumas (rašymo metu) "Windows" serverio leidimui. Nors vairuotojai yra prieinami "Workstation Edition", bandymai įdiegti sukelia pranešimą, kad GPU nėra aptikta. Ši problema neįvyksta "Linux", kur mes sėkmingai išbandėme kortelę tiek Ubuntu 22.04 ir 24.04. Tačiau vairuotojams reikėjo linux branduolio versijos 6+ ir GCC 12 kompiliacijai. 
 
 
 
 
 Išbandykite serverį su NVIDIA RTX 6000 PRO 96 GB – nemokamai! Susisiekite su mūsų pardavimų komanda, kad sužinotumėte apie bandymų sąlygas.* Pasiekti mus * - GPU pateikiamas nemokamai išbandyti individualiai ir nėra prieinamas visais atvejais. Try the server with NVIDIA RTX 6000 PRO 96 GB — for free! Susisiekite su mūsų pardavimų komanda, kad sužinotumėte apie bandymų sąlygas.* Pasiekti mus * - GPU pateikiamas nemokamai išbandyti individualiai ir nėra prieinamas visais atvejais.

Up to 22% discounts on instant servers!

Šis garso įrašas sukurtas originalia istorijos kalba!

Per ilgai; Skaityti

Get Free Unlimited IP Geo Data With IPinfo Lite

NVIDIA RTX 6000 Blackwell Server Edition: testai, lyginamieji rodikliai ir palyginimas

About Author

KOMENTARAI

PABAIGTI ŽYMES

ŠIS STRAIPSNIS BUVO PRISTATYMAS

Related Stories

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps