Uuden Blackwell-siru-sukupolven julkaisemisen myötä kuluttajapohjaisten GPU-laitteiden markkinoille odotettiin myös GPU-työaseman versioita - versioita, joiden tarkoituksena oli korvata A5000/A6000-sarja ja hinnat olivat alhaisemmat kuin A100/H100-tason GPU: t. Tämä tapahtui, mutta prosessissa NVIDIA hämmentää täysin kaikkia julkaisemalla vähintään kolme versiota RTX PRO 6000 Blackwellista vain kuudessa kuukaudessa. Me HOSTKEY: ssä liityimme suorituskykykilpailuun uusimman version - RTX PRO 6000 Blackwell Server Edition - julkaisemisen kanssa - testasimme sen perusteellisesti, ja meillä on joitakin tuloksia, joita voimme jakaa (ja näyttää). 
 
 
 
 
 Kokeile palvelinta NVIDIA RTX 6000 PRO 96 GB - ilmaiseksi! Ota yhteyttä myyntitiimiimme saadaksesi lisätietoja testausajojen olosuhteista.* Reach ulos meille * - GPU on tarkoitettu maksuttomaan kokeiluun yksilöllisesti eikä se ole käytettävissä kaikissa tapauksissa. Try the server with NVIDIA RTX 6000 PRO 96 GB — for free! Ota yhteyttä myyntitiimiimme saadaksesi lisätietoja testausajojen olosuhteista.* Reach ulos meille * - GPU on tarkoitettu maksuttomaan kokeiluun yksilöllisesti eikä se ole käytettävissä kaikissa tapauksissa. Mitä sinä olet? Jos katsot sitä Nvidia-sivustolla näkyy seuraava kuva: official GPU specifications GPU:n viralliset ominaisuudet Meillä on kolme näytönohjainvaihtoehtoa, jotka eroavat muodontekijästä, jäähdytysjärjestelmän tyypistä ja enimmäisvirrankulutuksesta. Ensi silmäyksellä voitaisiin olettaa, että keskiverto (Workstation Edition) pitäisi olla nopein ja todennäköisesti kuumin, sen virrankulutuksen perusteella. 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 Workstation Edition 
 Max-Q Workstation edition 
 Server Edition 
 RTX 5090 
 
 
 
 
 
 
 CUDA Parallel Processing cores 
 24064 
 24064 
 24064 
 21760 
 
 
 
 
 
 
 Single-Precision Performance (FP32) 
 125 TFLOPS 
 125 TFLOPS 
 120 TFLOPS 
 103 TFLOPS 
 
 
 
 
 
 
 RT Core Performance 
 380 TFLOPS 
 333 TFLOPS 
 355 TFLOPS 
 - 
 
 
 
 
 
 
 Memory Bandwidth 
 1792 GB/s 
 1792 GB/s 
 1597 GB/s 
 1792 GB/sec 
 
 
 
 
 
 
 GPU Memory 
 96 GB GDDR7 with ECC 
 96 GB GDDR7 with ECC 
 96 GB GDDR7 with ECC 
 32 GB GDDR7 
 
 
 
 
 
 
 Memory Interface 
 512-bit 
 512-bit 
 512-bit 
 512-bit 
 
 
 
 
 
 
 Power Consumption 
 Up to 600W (Configurable) 
 300W 
 600W 
 575W CUDA Parallel värinkäsittely 24064 24064 24064 21760 Yksinkertaisen tarkkuuden suorituskyky (FP32) 125 kpl 125 kpl 120 kappaletta 103 pistettä RT Core suorituskyky 380 TFLOPS 333 pätkää 355 pistettä - Muistin kaistanleveys 1792 GB / s 1792 GB / s 1597 GB / s 1792 Gt / sek GPU muisti 96 Gt GDDR7 ja ECC 96 Gt GDDR7 ja ECC 96 Gt GDDR7 ja ECC 32 Gt:n GDDR7 Muistin käyttöliittymä 512 bittiä 512 bittiä 512 bittiä 512 bittiä Energiankulutus Jopa 600 W (konfiguratiivinen) 300W 600W 575 W Testaamamme GPU (RTX 6000 Blackwell Server Edition) on sarjan heikoin (vaikka palvelinversio voisi odottaa olevan tehokkaampi kuin Workstation-versio), mutta se silti ylittää kuluttajaluokan RTX 5090: n johtuen korkeammasta ydinlaskusta sirulla. Vähentyneiden kellonopeuksien ansiosta kortin virrankulutus pysyy 300 W: n sisällä, mutta sitä voidaan siirtää boost-tilaan, jossa se toimii Workstation Editionin taajuuksilla. Server Editionin tärkein ominaisuus on sen passiivinen jäähdytys, joka hyödyntää palvelimen alustan vakioilman virtausta. Kompaktin koon ansiosta se mahdollistaa suuren määrän GPU: n samanaikaisen sijoittamisen peräkkäin (valokuva näyttelystä). Palvelimen asentaminen Testaamme tämän GPU: n käyttäen seuraavaa konfiguraatiota: 
 
 
 
 
 
 ASUS:n palvelinalusta AMD EPYC 9554 -suoritin 768 Gt DDR5 RAM-muistia 2 x 3,84 Tt NVMe 1 x RTX 6000 Pro -palvelin Teknisesti alusta tukee jopa 4 GPU: ta, mutta virrankulutuksen rajoitusten vuoksi ilman virranrajoitusta tilassa voidaan asentaa enintään kaksi RTX 6000 PRO SERVER GPU: ta. Ongelma syntyy, koska alusta tarjoaa 4 virtajohtoa puolelta, jotka on kytketty korttiin sovittimen kautta. Kuten kuvassa näkyy, laatikko on varustettu tehokkailla tuulettimilla molemmin puolin ja erikoistuneella kannella, mikä takaa erinomaisen ilmanvirtauksen lämmittimien ja GPU-komponenttien yli. Nyt sitten testeihin Suoritamme testit kahdessa tilassa: suorittamalla LLM: t käyttämällä Ollama + OpenWebUI -asennusta ja videon tuottamista ilmaisen WAN2-mallin kanssa ComfyUI: ssä. Tarkemmin sanottuna käytämme hermoverkkotyöntekijäämme, joka käyttää useita malleja RAG: lle (Retrieval-Augmented Generation) ja vuorovaikutuksessa ulkoisen MCP-palvelimen kanssa. Tulevaisuudessa voimme sanoa, että vertailut malleista, jotka sopivat täysin GPU:hen, osoittavat suorituskyvyn kasvun noin 15-20% verrattuna RTX 5090:hen. Aluksi verrataan aiempaa sukupolvea A5000 ja RTX 6000 PRO. Vertailu tehdään alhaisen virrankulutuksen tilassa, jossa GPU kuluttaa itse asiassa jopa 450 W (boost-tila), eikä dokumentaatiossa ilmoitettu 300 W: n enimmäismäärä. Kysymme hermoverkon avustajalta seuraavaa kysymystä: "Hei, miten asennat Nvidia-ohjaimet Linuxiin?" 
 
 
 
 
 
 
 
 
 
 
 
 GPU 
 Response Speed, Tokens per Second 
 Response Speed, Tokens per Second 
 Response Speed, Tokens per Second 
 
 
 
 
 
 A5000 (Cold Boot) 
 47.3 
 2700 
 17 
 
 
 
 
 
 RTX 6000 PRO (Cold Boot) 
 103.5 
 8285 
 5 
 
 
 
 
 
 A5000 (Model Already Loaded to GPU) 
 48.2 
 2910 
 13 
 
 
 
 
 
 RTX 6000 PRO (Model Already Loaded to GPU) 
 107 
 11000 
 4 A5000 (kylmä vene) 47.3 2700 17 RTX 6000 PRO (kylmä boot) 103.5 8285 5 A5000 (malli jo ladattu GPU) 48.2 2910 13 RTX 6000 PRO (malli jo ladattu GPU) 107 11000 4 Kuten näette, verrattuna A5000: hen, joka on edelleen käytössä, uusi GPU on yli kaksi kertaa tehokkaampi, ja sen vastausnopeus (eli vaihtaminen mallien välillä, haku, kysely MCP-palvelimelle, käsittely ja vastausten tuottaminen) on yli kolme kertaa nopeampi. Kuitenkin RTX 6000 PRO:n käyttäminen tällaisissa tehtävissä on kuin mikroskoopilla murskattaessa pähkinöitä. Vertailun vuoksi testaamme samaa työmäärää H100:lla "kuumassa juoksussa" (malli on jo ladattu). H100: ssä on 3,5 kertaa vähemmän CUDA-ydintä, alhaisemmat kellonopeudet ja teoreettinen suorituskyky noin 4 kertaa pienempi synteettisissä vertailuarvoissa verrattuna RTX 6000 PRO: hen. Kuitenkin se hyötyy 4 nm: n prosessisydämestä (verrattuna 5 nm: iin RTX 6000 PRO: lle), 10 kertaa suuremmasta muistin kaistanleveydestä ja kehittyneemmästä muistin tyypistä. 
 
 
 
 
 
 
 
 
 
 GPU 
 Response Speed, Tokens per Second 
 Response Speed, Tokens per Second 
 Response Speed, Tokens per Second 
 
 
 
 
 
 H100 (Model Already Loaded to GPU) 
 60 
 2900 
 4 
 
 
 
 
 
 RTX 6000 PRO (Model Already Loaded to GPU) 
 107 
 11000 
 4 H100 (malli on jo ladattu GPU: lle) 60 2900 4 RTX 6000 PRO (malli jo ladattu GPU) 107 11000 4 Tämä tekee RTX 6000 PRO:sta erinomaisen vaihtoehdon A100:lle/H100:lle palvelimen johtopäätösten työkuormissa, kun otetaan huomioon, että HBM3: n kaistanleveys tiedonsiirron aikana on jäljellä GDDR7: stä. Kuitenkin mallikoulutuksessa tai hienosäätössä H100 erottuu pienestä virrankulutuksesta, laitteistotason tuesta Transformer Enginein kautta malleille, joissa on FP16/FP8 tarkkuus (H100 tukee vain FP4) ja sen kyvystä nopeuttaa tehtäviä, kun mallit on täysin ladattu muistiin (kaistanleveys jopa 3 TB/s). RTX 6000 PRO:n täysipainoinen käyttö Paljon mielenkiintoisempaa on testata tätä GPU: ta toisessa resurssi-intensiivisessä tehtävässä – erityisesti videon tuottamisessa. Tätä varten käytämme Alibaban uutta mallia avoimilla painoilla ja asennamme kaiken ComfyUI: ssä. Jälleen olemme kohdanneet ongelman: CUDA 12.9 (ja uudemmat versiot) ja sen yhteensopivuus PyTorchin kanssa. Ratkaisu, jälleen kerran, on asentaa yöllä, kunnes virallinen tuki on saatavilla: pip install --pre --upgrade --no-cache-dir torch torchvision torchaudio --extra-index-url https://download.pytorch.org/whl/nightly/cu129
 Prosessissa käytetään kehotuksiin perustuvaa videon tuotantotilaa (Wan 2.2 14B tekstistä videoon), joka toimii seuraavasti: 
 
 Hämmästyttävä ja humoristinen kohtaus tapahtuu rauhallisella joenrannalla, jossa kaksi kovaa työtä tekevää beaveria, joissa on kirkkaat keltaiset turvatyynyt ja karkeat oranssit päällysvaatteet, ryhtyvät vetämään massiivista, hehkuvaa palvelinrekkia kohti huolellisesti rakennettuja beaver-hotelleja. Logeessa, joka on rakennettu lokeista ja kivistä, on rohkea, moderni merkki, joka lukee "HOSTKEY" rohkeassa, teknologia-inspiroidussa typografiassa. Beavereiden päättäväiset ilmeet ja palvelinrekkien hehkuvat valot luovat surrealistisen yhdistelmän luontoa ja teknologiaa. Joki hehkuu auringonvalossa ja logen sisäänkäynti on kehyst Hämmästyttävä ja humoristinen kohtaus tapahtuu rauhallisella joenrannalla, jossa kaksi kovaa työtä tekevää beaveria, joissa on kirkkaat keltaiset turvatyynyt ja karkeat oranssit päällysvaatteet, ryhtyvät vetämään massiivista, hehkuvaa palvelinrekkia kohti huolellisesti rakennettuja beaver-hotelleja. Logeessa, joka on rakennettu lokeista ja kivistä, on rohkea, moderni merkki, joka lukee "HOSTKEY" rohkeassa, teknologia-inspiroidussa typografiassa. Beavereiden päättäväiset ilmeet ja palvelinrekkien hehkuvat valot luovat surrealistisen yhdistelmän luontoa ja teknologiaa. Joki hehkuu auringonvalossa ja logen sisäänkäynti on kehyst Prosessin käynnistäminen kestää noin 40 minuuttia. Muistin käyttö ja virrankulutus huippusuorituksen aikana näkyvät alla olevassa kuvakaappauksessa. Suurin lämpötila ei koskaan ylittänyt 83 astetta. Tuotanto on asetettu 720p/24, koska malli on optimoitu tähän resoluutioon. Asettaminen 1080p:ään tai kehysnopeuden lisääminen voi aiheuttaa GPU: n jäädyttämisen tai merkittävästi pidentää tuotannon aikaa yli kaksi tuntia (emme odottaneet enää, koska prosessi pysähtyi 60 prosenttiin). Jos käytettäisiin WAN 2.2 5B -mallia sen sijaan, samanlaisen videon (5 sekuntia, 24 kuvaa) tuottaminen vie vain 160 sekuntia. Lisääntynyt voima Kuten aiemmin mainittiin, GPU:ssa on virrankulutustilan kytkin. Vaikka tämä asetus ei ole merkittävästi hyödyttänyt malleja, 600 watin virrankulutustilaan siirtyminen jo tuottaa parempia tuloksia. nvidia-smi-lukujen mukaan onnistuimme saamaan vielä viisi wattia suorituskykyä GPU:sta. Keskimäärin sähkönkulutus molemmissa tiloissa tuotannon aikana pysyy 200–250 watin alueella. Ilmeisesti maksimaalisen virrankulutuksen lisääminen nopeuttaa tuotantoa 25 prosentilla, mikä vähentää sitä keskimäärin 30 minuuttiin. Tämä tapahtuu kuitenkin huomattavasti korkeampien sirun ja komponenttien lämpötilojen kustannuksella. Tehtävissä, jotka edellyttävät pitkäaikaista GPU-toimintaa raskaassa kuormituksessa, on suositeltavaa pitää järjestelmä alhaisen virrankulutuksen tilassa lämpökuormituksen välttämiseksi. Johtopäätös GPU on osoittautunut vaikuttavaksi.Se on paljon vakaampi kuin kuluttajaluokan 5090, puuttuu pöly-suotuisia tuuletin usein löytyy kuluttajamalleja, on erinomainen muisti pariteettitoiminnolla, ja tarjoaa korkeampia kellonopeuksia. Verrattuna H100:hen se on neljä kertaa edullisempi ja tarjoaa vertailukelpoista (ja joissakin tapauksissa jopa parempaa) suorituskykyä tehtäviin, jotka eivät liity syvään hermoverkkokoulutukseen.Inferenssi, grafiikka ja videokäsittely ovat huomattavasti nopeampia kuin aiemmissa sukupolvissa, ja uusi CUDA 13 paransi suorituskykyä entisestään uusimman 580-ohjaimen kanssa. Tärkein rajoitus on Windowsin Server Editionin ohjainten puute (kirjoitusaikana). Vaikka ohjaimet ovat käytettävissä Workstation Editionille, asennusyritykset johtavat viestiin, jossa todetaan, että GPU ei ole havaittu. Tämä ongelma ei tapahdu Linuxissa, jossa testasimme korttia onnistuneesti sekä Ubuntu 22.04 että 24.04. Kuitenkin ohjaimet vaativat Linuxin ytimen versiota 6+ ja GCC 12 kokoonpanoon. 
 
 
 
 
 Kokeile palvelinta NVIDIA RTX 6000 PRO 96 GB - ilmaiseksi! Ota yhteyttä myyntitiimiimme saadaksesi lisätietoja testausajojen olosuhteista.* Reach ulos meille * - GPU on tarkoitettu maksuttomaan kokeiluun yksilöllisesti eikä se ole käytettävissä kaikissa tapauksissa. Try the server with NVIDIA RTX 6000 PRO 96 GB — for free! Ota yhteyttä myyntitiimiimme saadaksesi lisätietoja testausajojen olosuhteista.* Reach ulos meille * - GPU on tarkoitettu maksuttomaan kokeiluun yksilöllisesti eikä se ole käytettävissä kaikissa tapauksissa.

Up to 22% discounts on instant servers!

Tämä ääni on tuotettu tarinan alkuperäisellä kielellä!

NVIDIA RTX 6000 Blackwell Server Edition: Testit, vertailuarvot ja vertailu

About Author

KOMMENTIT

RIPUTA TAGSIA

TÄMÄ ARTIKKELI ESITETTIIN

Related Stories

Spaghetti

Dear Public Relations Manager, Here’s How to Use HackerNoon for Your Clients

Dotcom on edelleen uusien yritysten suosituin verkkotunnus, mutta käyttö laskee

Meet dRPC: HackerNoon Company of the Week

Spaghetti

Dear Public Relations Manager, Here’s How to Use HackerNoon for Your Clients

Dotcom on edelleen uusien yritysten suosituin verkkotunnus, mutta käyttö laskee

Meet dRPC: HackerNoon Company of the Week

Light-Mode

Classic

Newspaper

Minty

Dark-Mode

Neon Noir

Minty

HN StartUps