Met die vrylating van die nuwe Blackwell chip generasie vir die verbruiker GPU mark, was dit verwag om te sien werkstation weergawes van die GPU ook - weergawes wat bedoel is om die A5000 / A6000-reeks te vervang en geprys laer as A100 / H100-vlak GPU's. Dit het gebeur, maar in die proses het NVIDIA almal heeltemal verwar deur nie minder as drie weergawes van die RTX PRO 6000 Blackwell in net ses maande te lanseer nie. 
 
 
 
 
 Probeer die bediener met NVIDIA RTX 6000 PRO 96 GB - gratis! Kontak ons verkope-span om meer te weet oor die toets-drive-omstandighede.* Reach out vir ons * - Die GPU is beskikbaar vir 'n gratis proef op 'n individuele basis en is nie in alle gevalle beskikbaar nie. Try the server with NVIDIA RTX 6000 PRO 96 GB — for free! Kontak ons verkope-span om meer te weet oor die toets-drive-omstandighede.* Reach out vir ons * - Die GPU is beskikbaar vir 'n gratis proef op 'n individuele basis en is nie in alle gevalle beskikbaar nie. Wat is jy? As jy kyk na die Op die Nvidia webwerf, sien ons die volgende prentjie: Offisiële GPU spesifikasies Offisiële GPU spesifikasies Ons het drie video kaart opsies wat verskil in vorm faktor, koeling stelsel tipe, en maksimum krag verbruik. Op die eerste oogopslag, kan 'n mens aanvaar dat die middelste weergawe (Workstation Edition) moet die vinnigste en waarskynlik die warmste, gebaseer op sy krag verbruik. 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 Workstation Edition 
 Max-Q Workstation edition 
 Server Edition 
 RTX 5090 
 
 
 
 
 
 
 CUDA Parallel Processing cores 
 24064 
 24064 
 24064 
 21760 
 
 
 
 
 
 
 Single-Precision Performance (FP32) 
 125 TFLOPS 
 125 TFLOPS 
 120 TFLOPS 
 103 TFLOPS 
 
 
 
 
 
 
 RT Core Performance 
 380 TFLOPS 
 333 TFLOPS 
 355 TFLOPS 
 - 
 
 
 
 
 
 
 Memory Bandwidth 
 1792 GB/s 
 1792 GB/s 
 1597 GB/s 
 1792 GB/sec 
 
 
 
 
 
 
 GPU Memory 
 96 GB GDDR7 with ECC 
 96 GB GDDR7 with ECC 
 96 GB GDDR7 with ECC 
 32 GB GDDR7 
 
 
 
 
 
 
 Memory Interface 
 512-bit 
 512-bit 
 512-bit 
 512-bit 
 
 
 
 
 
 
 Power Consumption 
 Up to 600W (Configurable) 
 300W 
 600W 
 575W CUDA Parallel verwerking van kleure 24064 24064 24064 21760 Eenvoudige presiese prestasie (FP32) 125 Vlakke 125 Vlakke 120 Vlakke 103 Vlakke RT kernprestasie 380 Vloei 333 Vryheid 355 Vryheid - geheue bandbreedte 1792 GB / s 1792 GB / s 1597 GB / s 1792 GB / sek GPU geheue 96 GB GDDR7 met ECC 96 GB GDDR7 met ECC 96 GB GDDR7 met ECC 32 GB van GDDR7 geheue interaksie Die 512-bit Die 512-bit Die 512-bit Die 512-bit Energie verbruik Tot 600W (configureerbaar) Die 300W Die 600W 575 W Die GPU wat ons getesteer het (RTX 6000 Blackwell Server Edition) is die swakste in die line-up (alhoewel 'n mens kan verwag dat die Server-versie kragtiger sal wees as die Workstation-versie), maar dit verdien steeds die verbruikersklas RTX 5090 as gevolg van 'n hoër kerntelling op die chip.Dankie verminderde klok spoed, bly die kaart se kragverbruik binne 300W, maar dit kan in boost-modus oorgedra word, waar dit op frekwensies naby aan dié van die Workstation Edition bedryf. Die belangrikste kenmerk van die Server Edition is sy passiewe koeling, wat gebruik maak van die standaard lugstroom van die bediener chassis.Dankie sy kompakte grootte, dit toelaat om die simultaanposisie van 'n groot aantal GPU's in 'n ry (foto van die tentoonstelling). Versamel die server Ons sal hierdie GPU met behulp van die volgende konfigurasie toets: 
 
 
 
 
 
 Server platform van ASUS AMD EPYC 9554 prosesor 768 GB DDR5 RAM 2 x 3,84 TB NVMe 1 x RTX 6000 Pro bediener Technies ondersteun die platform tot 4 GPU's, maar as gevolg van die beperkings van kragverbruik in die nie-voedselbeperkingsmodus, kan 'n maksimum van twee RTX 6000 PRO SERVER-GPU's geïnstalleer word. Die probleem ontstaan omdat die platform 4 kragkontakters per kant verskaf, wat via 'n adapter met die kaart verbind word. Soos getoon in die foto, is die geval toegerus met kragtige ventilateurs aan beide kante en 'n gespesialiseerde behuizing, wat 'n uitstekende lugstroom oor die radiators en GPU-komponente verseker. Nou na die toetse Ons sal die toetse in twee modi voer: hardloop LLMs met behulp van die Ollama + OpenWebUI-opstelling en video-generasie met die gratis WAN2-model in ComfyUI. Meer presies, ons sal ons neurale netwerkassistent gebruik, wat verskeie modelle vir RAG (Retrieval-Augmented Generation) gebruik en interaksie met 'n eksterne MCP-bediener. Die LLM onder toets is Qwen3-14B, wat ongeveer 14 GB VRAM in 16K konteksmodus benodig. As ons vorentoe kyk, kan ons sê dat vergelykings met modelle wat ten volle in die GPU pas, 'n prestasieverhoging van ongeveer 15-20% in vergelyking met die RTX 5090 toon. Om te begin, sal ons die vorige generasie A5000 met die RTX 6000 PRO vergelyk. Die vergelyking sal uitgevoer word in lae kragverbruik modus, waar die GPU eintlik verbruik tot 450W (boost mode), eerder as die 300W maksimum aangedui in die dokumentasie. Ons sal ons neurale netwerkassistent die volgende vraag vra: "Hoe om Nvidia bestuurders op Linux te installeer?" 
 
 
 
 
 
 
 
 
 
 
 
 GPU 
 Response Speed, Tokens per Second 
 Response Speed, Tokens per Second 
 Response Speed, Tokens per Second 
 
 
 
 
 
 A5000 (Cold Boot) 
 47.3 
 2700 
 17 
 
 
 
 
 
 RTX 6000 PRO (Cold Boot) 
 103.5 
 8285 
 5 
 
 
 
 
 
 A5000 (Model Already Loaded to GPU) 
 48.2 
 2910 
 13 
 
 
 
 
 
 RTX 6000 PRO (Model Already Loaded to GPU) 
 107 
 11000 
 4 A5000 (Koue Boot) 47.3 2700 17 RTX 6000 Pro (koel boot) 103.5 8285 5 A5000 (model wat reeds in die GPU geladen is) 48.2 2910 13 RTX 6000 PRO (Model reeds laai na GPU) 107 11000 4 Soos u kan sien, in vergelyking met die A5000, wat nog in gebruik is, is die nuwe GPU meer as twee keer kragtiger, en sy reaksie spoed (dit wil sê, skakel tussen modelle, soek, vra die MCP-bediener, verwerk en genereer antwoorde) is meer as drie keer vinniger. Die gebruik van die RTX 6000 PRO vir sulke take is egter soos om nutte met 'n mikroskoop te kraak. Om te vergelyk, laat ons dieselfde werkloosheid op die H100 in 'n "hot run" (met die model reeds geladen) toets. Die H100 het 3,5 keer minder CUDA-kerns, laer klok spoed, en teoretiese prestasie ongeveer 4 keer laer in sintetiese benchmarks in vergelyking met die RTX 6000 PRO. Maar dit profiteer van 'n 4nm prosesnood (versus 5nm vir die RTX 6000 PRO), 10 keer groter geheue bandbreedte, en 'n meer gevorderde geheue tipe. 
 
 
 
 
 
 
 
 
 
 GPU 
 Response Speed, Tokens per Second 
 Response Speed, Tokens per Second 
 Response Speed, Tokens per Second 
 
 
 
 
 
 H100 (Model Already Loaded to GPU) 
 60 
 2900 
 4 
 
 
 
 
 
 RTX 6000 PRO (Model Already Loaded to GPU) 
 107 
 11000 
 4 H100 (model wat reeds in die GPU geladen is) 60 2900 4 RTX 6000 PRO (Model reeds laai na GPU) 107 11000 4 Dit maak die RTX 6000 PRO 'n uitstekende vervanging vir die A100/H100 in server inferensie werkloosheid, aangesien HBM3 se bandbreedte tydens data oordra agter GDDR7. Maak die RTX 6000 PRO ten volle gebruik Baie meer interessant is om hierdie GPU in 'n ander hulpbronne-intensiewe taak te toets – spesifiek, video-generasie. Vir hierdie, sal ons 'n nuwe model van Alibaba met oop gewigte gebruik en alles in ComfyUI installeer. Weereens, ons het 'n probleem gekry: CUDA 12.9 (en later weergawes) en sy verenigbaarheid met PyTorch. Die oplossing, weer, is om te installeer van nag geboue totdat amptelike ondersteuning beskikbaar is: pip install --pre --upgrade --no-cache-dir torch torchvision torchaudio --extra-index-url https://download.pytorch.org/whl/nightly/cu129
 Die proses behels die gebruik van die video-generasie modus gebaseer op oproepe (Wan 2.2 14B teks na video), wat werk soos volg: 
 
 Op 'n rustige rivierbank ontvou 'n geheimsinnige en humoristiese scenario, waar twee hardwerkende beavers in helmige geel veiligheidshelms en robuuste oranje overalls saamwerk om 'n massiewe, glimlagende bediener-rack na hul mettende gebouwde beaver lodge te trek. Die lodge, gebou uit logs en klippe, het 'n dapper, moderne teken wat "HOSTKEY" lees in dapper, tegnologie-geïnspireerde typografie. Die beavers se vastberadenheid en die glimlagende ligte van die bedienerrak skep 'n surreale mengsel van natuur en tegnologie. Die rivier sprank in die sonlig, en die lodge se ingang word ingestel deur groenheid, wat die harmonie tussen die Op 'n rustige rivierbank ontvou 'n geheimsinnige en humoristiese scenario, waar twee hardwerkende beavers in helmige geel veiligheidshelms en robuuste oranje overalls saamwerk om 'n massiewe, glimlagende bediener-rack na hul mettende gebouwde beaver lodge te trek. Die lodge, gebou uit logs en klippe, het 'n dapper, moderne teken wat "HOSTKEY" lees in dapper, tegnologie-geïnspireerde typografie. Die beavers se vastberadenheid en die glimlagende ligte van die bedienerrak skep 'n surreale mengsel van natuur en tegnologie. Die rivier sprank in die sonlig, en die lodge se ingang word ingestel deur groenheid, wat die harmonie tussen die Die begin van die proses neem ongeveer 40 minute. geheue gebruik en krag verbruik tydens piekprestasie kan gesien word in die skermfoto hieronder. Die maksimum temperatuur het nooit 83 grade oorskry nie. Die generasie word ingestel op 720p/24, aangesien die model geoptimaliseer is vir hierdie resolusie. Die instelling tot 1080p of die verhooging van die frame rate kan veroorsaak dat die GPU bevrie of die generasie tyd aansienlik langer as twee uur verleng (ons het nie langer wag nie, aangesien die proses by 60% vasgesteek het). As ons in plaas daarvan die WAN 2.2 5B-model gebruik, neem die generering van 'n soortgelyke video (5 sekondes, 24 frames) slegs 160 sekondes. Verhoog die krag Soos voorheen genoem, het die GPU 'n stroomverbruikmodusskakelaar. Terwyl hierdie instelling nie aansienlik voordele vir die modelle gehad het nie, bied die oorgang na 'n 600-watt kragmodus reeds verbeterde resultate. Volgens nvidia-smi-lesings, het ons daarin geslaag om 'n bykomende vyf watt prestasie uit die GPU te onttrek. Gemiddeld bly die kragverbruik in beide modi tydens die generasie binne die 200-250-wattbereik. Soos duidelik, verhoog die maksimum kragverbruik versnel die generasie met 25%, verminder dit tot 'n gemiddelde van 30 minute. Maar dit kom ten koste van aansienlik hoër chip en komponent temperatuur. Vir take wat verlengde GPU bedryf onder swaar lading vereis, is dit raadsaam om die stelsel in lae krag verbruik modus te hou om hitte stres te vermy. Konklusie Die GPU is bewys om indrukwekkend te wees. dit is baie meer stabiel as die verbruikersklas 5090, ontbreek die stof-gevoelige ventilateurs wat dikwels op verbruikersmodelle gevind word, het 'n uitstekende geheue met pariteit beheer en bied hoër klok spoed. In vergelyking met die H100 is dit vier keer meer bekostigbaar en bied vergelykbare (en in sommige gevalle selfs beter) prestasie vir take wat nie verband hou met diepe neurale netwerkopleiding nie. Inferensie, grafiese verwerking en video-verwerking is aansienlik vinniger as in vorige geslagte, en die nuwe CUDA 13 saam met die nuutste bestuurder weergawe 580 het prestasie verder verhoog. 'N Belangrike beperking is die gebrek aan bestuurders (op die tyd van skryf) vir die Server-edisie van Windows. Terwyl bestuurders beskikbaar is vir die Workstation-edisie, lei installasie pogings tot 'n boodskap dat die GPU nie gedetekteer word nie. Hierdie probleem voorkom nie in Linux, waar ons die kaart suksesvol op beide Ubuntu 22.04 en 24.04. 
 
 
 
 
 Probeer die bediener met NVIDIA RTX 6000 PRO 96 GB - gratis! Kontak ons verkope-span om meer te weet oor die toets-drive-omstandighede.* Reach out vir ons * - Die GPU is beskikbaar vir 'n gratis proef op 'n individuele basis en is nie in alle gevalle beskikbaar nie. Try the server with NVIDIA RTX 6000 PRO 96 GB — for free! Kontak ons verkope-span om meer te weet oor die toets-drive-omstandighede.* Reach out vir ons * - Die GPU is beskikbaar vir 'n gratis proef op 'n individuele basis en is nie in alle gevalle beskikbaar nie.

Up to 22% discounts on instant servers!

Hierdie oudio word in die oorspronklike taal van die storie vervaardig!

NVIDIA RTX 6000 Blackwell Server Edition: toetse, benchmarks en vergelyking

About Author

KOMMENTAAR

HANG TAGS

HIERDIE ARTIKEL IS AANGEBIED IN

Related Stories

How to Vote in the HackerNoon 2021 Noonies Awards #Noonies2021

Startups of The Year: Meet the Business Industry

Thrilled to be Recognized as Startup of the Year in New York City

HackerNoon and the Time We Took the 16 Personalities Test

How to Vote in the HackerNoon 2021 Noonies Awards #Noonies2021

Startups of The Year: Meet the Business Industry

Thrilled to be Recognized as Startup of the Year in New York City

HackerNoon and the Time We Took the 16 Personalities Test

Light-Mode

Classic

Newspaper

Minty

Dark-Mode

Neon Noir

Minty

HN StartUps