С пускането на новото поколение чипове Blackwell за потребителския GPU пазар, се очакваше да се видят и работни версии на GPU – версии, предназначени да заменят серията A5000/A6000 и на по-ниски цени от A100/H100-level GPUs. Това се случи, но в процеса NVIDIA напълно обърка всички, като пусна не по-малко от три версии на RTX PRO 6000 Blackwell само за шест месеца.Ние в HOSTKEY се присъединихме към състезанието за производителност с пускането на най-новата версия - RTX PRO 6000 Blackwell Server Edition - тествахме го задълбочено и имаме някои резултати, които да споделим (и покажем). 
 
 
 
 
 Опитайте сървъра с NVIDIA RTX 6000 PRO 96 GB – безплатно! Свържете се с нашия екип за продажби, за да научите повече за условията за тестване.* Достигнете до нас * - GPU е предоставен за безплатен пробен период на индивидуална основа и не е достъпен във всички случаи. Try the server with NVIDIA RTX 6000 PRO 96 GB — for free! Свържете се с нашия екип за продажби, за да научите повече за условията за тестване.* Достигнете до нас * - GPU е предоставен за безплатен пробен период на индивидуална основа и не е достъпен във всички случаи. Какво си ти? Ако погледнете към На сайта на Nvidia виждаме следната снимка: Официални спецификации на GPU Официални спецификации на GPU Имаме три варианта за видеокарта, които се различават по форма, тип охлаждаща система и максимална консумация на енергия. На пръв поглед може да се предположи, че средната версия (Workstation Edition) трябва да бъде най-бързата и вероятно най-горещата, въз основа на консумацията на енергия. 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 Workstation Edition 
 Max-Q Workstation edition 
 Server Edition 
 RTX 5090 
 
 
 
 
 
 
 CUDA Parallel Processing cores 
 24064 
 24064 
 24064 
 21760 
 
 
 
 
 
 
 Single-Precision Performance (FP32) 
 125 TFLOPS 
 125 TFLOPS 
 120 TFLOPS 
 103 TFLOPS 
 
 
 
 
 
 
 RT Core Performance 
 380 TFLOPS 
 333 TFLOPS 
 355 TFLOPS 
 - 
 
 
 
 
 
 
 Memory Bandwidth 
 1792 GB/s 
 1792 GB/s 
 1597 GB/s 
 1792 GB/sec 
 
 
 
 
 
 
 GPU Memory 
 96 GB GDDR7 with ECC 
 96 GB GDDR7 with ECC 
 96 GB GDDR7 with ECC 
 32 GB GDDR7 
 
 
 
 
 
 
 Memory Interface 
 512-bit 
 512-bit 
 512-bit 
 512-bit 
 
 
 
 
 
 
 Power Consumption 
 Up to 600W (Configurable) 
 300W 
 600W 
 575W Паралелна обработка на цветовете 24064 24064 24064 21760 Единична прецизна производителност (FP32) 125 флакона 125 флакона 120 флакона 103 ТФЛП RT Core изпълнение 380 лв. 333 Пъзела 355 Пъзела - Паметна лента 1792 ГБ/с 1792 ГБ/с 1597 ГБ/сек 1792 ГБ/сек GPU памет 96 GB GDDR7 с ECC 96 GB GDDR7 с ECC 96 GB GDDR7 с ECC 32 ГБ GDDR7 Интерфейс на паметта 512 бита 512 бита 512 бита 512 бита Потребление на енергия До 600W (може да се конфигурира) от 300W от 600W 575 Вт Графичният процесор, който тествахме (RTX 6000 Blackwell Server Edition) е най-слабият в гамата (въпреки че може да се очаква версията на сървъра да бъде по-мощна от изданието на Workstation), но все още превъзхожда потребителския клас RTX 5090 поради по-високото число на ядрото на чипа.Благодарение на намалените скорости на часовника, консумацията на захранването на картата остава в рамките на 300W, но може да бъде преместена в бустер режим, където работи на честоти, близки до тези на Workstation Edition. Основната характеристика на Server Edition е пасивното си охлаждане, което използва стандартния въздушен поток на серверния шаси.Благодарение на компактния си размер, той позволява едновременното поставяне на голям брой GPU в един ред (снимка от изложбата). Създаване на сървъра Ще тестваме този GPU, като използваме следната конфигурация: 
 
 
 
 
 
 Серверна платформа от ASUS Процесор: AMD EPYC 9554 768 GB DDR5 RAM 2 x 3.84 ТБ NVMe 1 x RTX 6000 Pro сървър Технически, платформата поддържа до 4 GPU, но поради ограниченията на потреблението на енергия в режим без ограничение на мощността, могат да бъдат инсталирани максимум два RTX 6000 PRO SERVER GPU. Проблемът възниква, защото платформата осигурява 4 захранващи конектора на страна, които са свързани към картата чрез адаптер. Както е показано на снимката, корпусът е оборудван с мощни фенове от двете страни и специализиран корпус, осигурявайки отличен въздушен поток над радиаторите и компонентите на GPU. Сега към тестовете Ще проведем тестовете в два режима: ще изпълняваме LLM с помощта на настройката Ollama + OpenWebUI и ще генерираме видео с безплатния модел WAN2 в ComfyUI. По-точно, ще използваме нашия асистент за невронна мрежа, който използва множество модели за RAG (Retrieval-Augmented Generation) и взаимодейства с външен MCP сървър. Гледайки напред, можем да кажем, че сравненията, включващи модели, които напълно се вписват в GPU, показват повишаване на производителността с около 15-20% в сравнение с RTX 5090. За начало ще сравним предишното поколение A5000 с RTX 6000 PRO. Сравнението ще се извърши в режим с ниско потребление на енергия, където GPU всъщност консумира до 450W (режим на увеличение), вместо максималния 300W, посочен в документацията. Ние ще зададем на нашия асистент за невронна мрежа следния въпрос: "Здравей, как да инсталирате драйвери на Nvidia на Linux?" 
 
 
 
 
 
 
 
 
 
 
 
 GPU 
 Response Speed, Tokens per Second 
 Response Speed, Tokens per Second 
 Response Speed, Tokens per Second 
 
 
 
 
 
 A5000 (Cold Boot) 
 47.3 
 2700 
 17 
 
 
 
 
 
 RTX 6000 PRO (Cold Boot) 
 103.5 
 8285 
 5 
 
 
 
 
 
 A5000 (Model Already Loaded to GPU) 
 48.2 
 2910 
 13 
 
 
 
 
 
 RTX 6000 PRO (Model Already Loaded to GPU) 
 107 
 11000 
 4 A5000 (студена лодка) 47.3 2700 17 RTX 6000 PRO (Cold Boot) е съвместим 103.5 8285 5 A5000 (моделът вече е зареден с GPU) 48.2 2910 13 RTX 6000 PRO (моделът вече е зареден с GPU) 107 11000 4 Както можете да видите, в сравнение с A5000, който все още се използва, новият графичен процесор е над два пъти по-мощен, а скоростта на реакция (т.е. превключване между модели, търсене, заявка на MCP сървъра, обработка и генериране на отговори) е повече от три пъти по-бърза. Въпреки това, използването на RTX 6000 PRO за такива задачи е като разкъсване на ядки с микроскоп. За сравнение, нека тестваме същото работно натоварване на H100 в "горещ ход" (с модела вече натоварен). H100 има 3,5 пъти по-малко CUDA ядра, по-ниски скорости на часовника и теоретична производителност приблизително 4 пъти по-ниска в синтетични референтни стойности в сравнение с RTX 6000 PRO. Въпреки това, той се възползва от 4nm процесен възел (в сравнение с 5nm за RTX 6000 PRO), 10 пъти по-голяма честотна лента на паметта и по-напреднал тип памет. Въпреки това нашата версия на H100 има 80 GB памет, в сравнение с 96 GB на H100. 
 
 
 
 
 
 
 
 
 
 GPU 
 Response Speed, Tokens per Second 
 Response Speed, Tokens per Second 
 Response Speed, Tokens per Second 
 
 
 
 
 
 H100 (Model Already Loaded to GPU) 
 60 
 2900 
 4 
 
 
 
 
 
 RTX 6000 PRO (Model Already Loaded to GPU) 
 107 
 11000 
 4 H100 (моделът вече е зареден с GPU) 60 2900 4 RTX 6000 PRO (моделът вече е зареден с GPU) 107 11000 4 Това прави RTX 6000 PRO отличен заместител на A100/H100 в изводните работни натоварвания на сървъра, като се има предвид, че честотната лента на HBM3 по време на предаване на данни изостава зад GDDR7. Използване на RTX 6000 PRO в пълна степен Много по-интересно е да тестваме този GPU в друга ресурсно интензивна задача – по-специално, генериране на видео. За това ще използваме нов модел от Alibaba с отворени тежести и ще инсталираме всичко в ComfyUI. Отново се сблъскахме с проблем: CUDA 12.9 (и по-нови версии) и неговата съвместимост с PyTorch. Решението, още веднъж, е да инсталирате от нощни builds, докато официалната поддръжка не е на разположение: pip install --pre --upgrade --no-cache-dir torch torchvision torchaudio --extra-index-url https://download.pytorch.org/whl/nightly/cu129
 Процесът включва използването на режима за генериране на видео въз основа на обаждания (Wan 2.2 14B текст към видео), който работи както следва: 
 
 Зашеметяваща и хумористична сцена се разгръща на спокоен бряг на реката, където двама усърдно работещи бейвъри в ярки жълти каски за безопасност и груби оранжеви костюми се обединяват, за да изкачат масивен, блестящ сервер рафт към тяхната внимателно построена бейвър лоджия. Лоджията, построена от дневници и камъни, има смел, модерен знак, който чете „HOSTKEY“ в смела, технологично вдъхновена типография. Решителните изрази на бейвърите и блестящите светлини на серверната ракета създават сюрреалистична смес от природа и технология. Реката блести в слънчевата светлина, а в Зашеметяваща и хумористична сцена се разгръща на спокоен бряг на реката, където двама усърдно работещи бейвъри в ярки жълти каски за безопасност и груби оранжеви костюми се обединяват, за да изкачат масивен, блестящ сервер рафт към тяхната внимателно построена бейвър лоджия. Лоджията, построена от дневници и камъни, има смел, модерен знак, който чете „HOSTKEY“ в смела, технологично вдъхновена типография. Решителните изрази на бейвърите и блестящите светлини на серверната ракета създават сюрреалистична смес от природа и технология. Реката блести в слънчевата светлина, а в Стартирането на процеса отнема около 40 минути. Използването на паметта и консумацията на енергия по време на пиковата производителност са видими на екрана по-долу. Максималната температура никога не е превишавала 83 градуса. Генерацията е зададена на 720p/24, тъй като моделът е оптимизиран за тази резолюция. Настройването му на 1080p или увеличаването на скоростта на кадрите може да доведе до замразяване на GPU или значително удължаване на времето за генериране над два часа (не чакахме по-дълго, тъй като процесът се задържа на 60%). Ако вместо това използваме WAN 2.2 5B модел, генерирането на подобно видео (5 секунди, 24 кадъра) отнема само 160 секунди. Увеличаване на силата Както бе споменато по-рано, GPU има превключвател за режим на консумация на енергия. Докато тази настройка не е имала значителна полза за моделите, превключването към режим на захранване от 600 вата вече дава подобрени резултати.Според четенията на nvidia-smi, успяхме да извлечем още пет вата производителност от GPU. Средно потреблението на електроенергия и в двата режима по време на производството остава в диапазона от 200-250 вата. Както е очевидно, увеличаването на максималната консумация на енергия ускорява генерирането с 25%, намалявайки го до средно 30 минути.Въпреки това, това идва за сметка на значително по-високите температури на чипа и компонентите.За задачи, които изискват продължителна работа на GPU при тежки натоварвания, е препоръчително системата да се поддържа в режим на ниско потребление на енергия, за да се избегне топлинно натоварване. Заключението Той е много по-стабилен от потребителския клас 5090, липсва вентилаторите, предразположени към прах, които често се срещат в потребителските модели, има по-добра памет с контрол на паритета и предлага по-високи скорости на часовника. В сравнение с H100, той е четири пъти по-достъпен, като в същото време осигурява сравнима (и в някои случаи дори по-добра) производителност за задачи, които не са свързани с обучението на дълбоки невронни мрежи.Индексът, обработката на графики и обработката на видео са значително по-бързи, отколкото в предишните поколения, а новата CUDA 13 заедно с най-новата версия на водача 580 допълнително подобри производителността. Ключово ограничение е липсата на драйвери (по времето на писане) за Windows Server Edition. Докато драйверите са налични за Workstation Edition, опитите за инсталиране водят до съобщение, че GPU не се открива. Този проблем не се случва в Linux, където успешно тествахме картата както на Ubuntu 22.04 и 24.04. Въпреки това, драйверите изисква Linux ядро версия 6+ и GCC 12 за компилация. 
 
 
 
 
 Опитайте сървъра с NVIDIA RTX 6000 PRO 96 GB – безплатно! Свържете се с нашия екип за продажби, за да научите повече за условията за тестване.* Достигнете до нас * - GPU е предоставен за безплатен пробен период на индивидуална основа и не е достъпен във всички случаи. Try the server with NVIDIA RTX 6000 PRO 96 GB — for free! Свържете се с нашия екип за продажби, за да научите повече за условията за тестване.* Достигнете до нас * - GPU е предоставен за безплатен пробен период на индивидуална основа и не е достъпен във всички случаи.

Up to 22% discounts on instant servers!

Това аудио е създадено на оригиналния език на историята!

Твърде дълго; Чета

Get Free Unlimited IP Geo Data With IPinfo Lite

NVIDIA RTX 6000 Blackwell Server Edition: Тестове, бенчмаркове и сравнение

About Author

КОМЕНТАРИ

ЗАКАЧВАЙТЕ ЕТИКЕТИ

ТАЗИ СТАТИЯ Е ПРЕДСТАВЕНА В

Related Stories

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps