Nvidia RTX A4000 ADA có thể xử lý các tác vụ học máy không?

Vào tháng 4, đã ra mắt một sản phẩm mới, RTX A4000 ADA, một GPU dạng nhỏ được thiết kế cho các ứng dụng máy trạm. Bộ xử lý này thay thế A2000 và có thể được sử dụng cho các tác vụ phức tạp, bao gồm nghiên cứu khoa học, tính toán kỹ thuật và trực quan hóa dữ liệu. Nvidia RTX A4000 ADA có 6.144 lõi CUDA, 192 lõi Tenor và 48 lõi RT và 20 GB GDDR6 ECC VRAM. Một trong những lợi ích chính của GPU mới là hiệu suất năng lượng: RTX A4000 ADA chỉ tiêu thụ 70W, giúp giảm cả chi phí điện năng và nhiệt độ hệ thống. GPU cũng cho phép bạn điều khiển nhiều màn hình nhờ khả năng kết nối 4x Mini-DisplayPort 1.4a. Khi so sánh GPU RTX 4000 SFF ADA với các thiết bị khác cùng loại, cần lưu ý rằng khi chạy ở chế độ chính xác đơn, nó cho hiệu suất tương đương với GPU RTX A4000 thế hệ mới nhất, tiêu thụ điện năng gấp đôi (140W so với 140W). 70W). ADA RTX 4000 SFF được xây dựng trên kiến trúc ADA Lovelace và công nghệ xử lý 5nm. Điều này cho phép các lõi Tensor Core và lõi dò tia thế hệ tiếp theo, giúp cải thiện đáng kể hiệu suất bằng cách cung cấp các lõi Tensor và dò tia nhanh hơn và hiệu quả hơn so với RTX A4000. Ngoài ra, RTX 4000 SFF của ADA được đóng gói nhỏ - thẻ dài 168mm và dày bằng hai khe cắm mở rộng. Các nhân dò tia cải tiến cho phép đạt được hiệu suất hiệu quả trong các môi trường sử dụng công nghệ này, chẳng hạn như trong thiết kế và kết xuất 3D. Hơn nữa, dung lượng bộ nhớ 20GB của GPU mới cho phép nó xử lý các môi trường rộng lớn. Theo nhà sản xuất, các lõi Tensor thế hệ thứ tư mang lại hiệu suất tính toán AI cao - hiệu suất tăng gấp đôi so với thế hệ trước. Các lõi Tensor mới hỗ trợ tăng tốc FP8. Tính năng sáng tạo này có thể hoạt động tốt đối với những người đang phát triển và triển khai các mô hình AI trong các môi trường như bộ gen và . thị giác máy tính Cũng cần lưu ý rằng sự gia tăng về cơ chế mã hóa và giải mã làm cho RTX 4000 SFF ADA trở thành một giải pháp tốt cho khối lượng công việc đa phương tiện, chẳng hạn như video trong số những thứ khác. Thông số kỹ thuật của card đồ họa NVIDIA RTX A4000 và RTX A5000, RTX 3090 RTX A4000 ADA NVIDIA RTX A4000 NVIDIA RTX A5000 RTX 3090 Ngành kiến trúc Ada Lovelace Ampe Ampe Ampe quy trình công nghệ 5nm 8nm 8nm 8nm GPU AD104 GA102 GA104 GA102 Số lượng bóng bán dẫn (triệu) 35.800 17.400 28.300 28.300 Băng thông bộ nhớ (Gb/s) 280.0 448 768 936.2 Dung lượng bộ nhớ video (bit) 160 256 384 384 Bộ nhớ GPU (GB) 20 16 24 24 loại bộ nhớ GDDR6 GDDR6 GDDR6 GDDR6X lõi CUDA 6,144 6 144 8192 10496 lõi tenor 192 192 256 328 lõi RT 48 48 64 82 SP hoàn hảo (teraflop) 19.2 19,2 27,8 35,6 Hiệu suất lõi RT (teraflop) 44.3 37,4 54,2 69,5 Hiệu suất tenxơ (teraflop) 306.8 153,4 222,2 285 Công suất tối đa (Watt) 70 140 230 350 giao diện PCIe 4.0x16 PCI-E 4.0x16 PCI-E 4.0x16 PCIe 4.0x16 kết nối 4x Mini DisplayPort 1.4a DP 1.4 (4) DP 1.4 (4) DP 1.4 (4) Yếu tố hình thức 2 khe 1 khe 2 khe 2-3 khe cắm Phần mềm vGPU KHÔNG KHÔNG Có, không giới hạn Đúng. với những hạn chế nvlink KHÔNG KHÔNG 2XRTX A5000 Đúng hỗ trợ CUDA 11.6 8.6 8.6 8.6 hỗ trợ VULKAN 1.3 Đúng Đúng vâng, 1,2 giá (USD) 1.250 1000 2500 1400 Mô tả môi trường thử nghiệm RTX A4000 ADA RTX A4000 CPU AMD Ryzen 9 5950X 3.4GHz (16 nhân) OctaCore Intel Xeon E-2288G, 3,5 GHz ĐẬP 4x32 Gb DDR4 ECC SO-DIMM 2x32 GB DDR4-3200 ECC DDR4 SDRAM 1600 MHz Lái xe SSD NVMe 1Tb SSD Samsung 980 PRO 1TB bo mạch chủ ASRock X570D4I-2T Dòng Asus P11C-I Hệ điều hành Microsoft Windows 10 Microsoft Windows 10 Kết quả kiểm tra Điểm chuẩn V-Ray 5 Các bài kiểm tra CUDA và RTX của V-Ray GPU đo hiệu suất kết xuất GPU tương đối. GPU RTX A4000 kém hơn một chút so với RTX A4000 ADA (lần lượt là 4% và 11%). Học máy "Chó vs. Mèo" Để so sánh hiệu suất của GPU cho mạng thần kinh, chúng tôi đã sử dụng bộ dữ liệu "Dogs vs. Cats" - thử nghiệm phân tích nội dung của một bức ảnh và phân biệt xem bức ảnh chụp một con mèo hay một con chó. Tất cả các dữ liệu thô cần thiết có thể được tìm thấy . Chúng tôi đã chạy thử nghiệm này trên các GPU và dịch vụ đám mây khác nhau và nhận được kết quả như sau: đây Trong thử nghiệm này, RTX A4000 ADA nhỉnh hơn một chút so với RTX A4000 9%, nhưng hãy nhớ rằng GPU mới có kích thước nhỏ và mức tiêu thụ điện năng thấp. Điểm chuẩn AI AI-Benchmark cho phép bạn đo hiệu suất của thiết bị trong tác vụ đầu ra mô hình AI. Đơn vị đo có thể thay đổi tùy theo thử nghiệm, nhưng thông thường đó là số thao tác trên giây (OPS) hoặc số khung hình trên giây (FPS). RTX A4000 RTX A4000 ADA 19/1. MobileNet-V2 1.1 — suy luận | đợt=50, kích thước=224x224: 38,5 ± 2,4 ms1,2 — đào tạo | đợt=50, kích thước=224x224: 109 ± 4 ms 1.1 — suy luận | đợt=50, kích thước=224x224: 53,5 ± 0,7 ms1,2 — đào tạo | lô=50, kích thước=224x224: 130,1 ± 0,6 ms 19/2. Inception-V3 2.1 — suy luận | đợt=20, kích thước=346x346: 36,1 ± 1,8 ms2,2 — đào tạo | đợt=20, kích thước=346x346: 137,4 ± 0,6 ms 2.1 — suy luận | đợt=20, kích thước=346x346: 36,8 ± 1,1 ms2,2 — đào tạo | đợt=20, kích thước=346x346: 147,5 ± 0,8 ms 19/3. Inception-V4 3.1 — suy luận | đợt=10, kích thước=346x346: 34,0 ± 0,9 ms3.2 — đào tạo | đợt=10, kích thước=346x346: 139,4 ± 1,0 ms 3.1 — suy luận | đợt=10, kích thước=346x346: 33,0 ± 0,8 ms3.2 — đào tạo | đợt=10, kích thước=346x346: 135,7 ± 0,9 ms 19/4. Khởi động-ResNet-V2 4.1 — suy luận | đợt=10, kích thước=346x346: 45,7 ± 0,6 ms4.2 — đào tạo | đợt=8, kích thước=346x346: 153,4 ± 0,8 ms 4.1 — lô suy luận=10, kích thước=346x346: 33,6 ± 0,7 ms4.2 — lô đào tạo=8, kích thước=346x346: 132 ± 1 ms 19/5. ResNet-V2-50 5.1 — suy luận | đợt=10, kích thước=346x346: 25,3 ± 0,5 ms5.2 — đào tạo | đợt=10, kích thước=346x346: 91,1 ± 0,8 ms 5.1 — suy luận | đợt=10, kích thước=346x346: 26,1 ± 0,5 ms5.2 — đào tạo | đợt=10, kích thước=346x346: 92,3 ± 0,6 ms 19/6. ResNet-V2-152 6.1 — suy luận | đợt=10, kích thước=256x256: 32,4 ± 0,5 ms6.2 — đào tạo | đợt=10, kích thước=256x256: 131,4 ± 0,7 ms 6.1 — suy luận | đợt=10, kích thước=256x256: 23,7 ± 0,6 ms6.2 — đào tạo | lô=10, kích thước=256x256: 107,1 ± 0,9 ms 19/7. VGG-16 7.1 — suy luận | đợt=20, kích thước=224x224: 54,9 ± 0,9 ms7.2 — đào tạo | đợt=2, kích thước=224x224: 83,6 ± 0,7 ms 7.1 — suy luận | đợt=20, kích thước=224x224: 66,3 ± 0,9 ms7.2 — đào tạo | đợt=2, kích thước=224x224: 109,3 ± 0,8 ms 19/8. SRCNN 9-5-5 8.1 — suy luận | đợt=10, kích thước=512x512: 51,5 ± 0,9 ms8.2 — suy luận | đợt=1, kích thước=1536x1536: 45,7 ± 0,9 ms8,3 — đào tạo | đợt=10, kích thước=512x512: 183 ± 1 ms 8.1 — suy luận | đợt=10, kích thước=512x512: 59,9 ± 1,6 ms8.2 — suy luận | đợt=1, kích thước=1536x1536: 53,1 ± 0,7 ms8,3 — đào tạo | đợt=10, kích thước=512x512: 176 ± 2 ms 19/9. VGG-19 Super-Res 9.1 — suy luận | đợt=10, kích thước=256x256: 99,5 ± 0,8 ms9,2 — suy luận | đợt=1, kích thước=1024x1024: 162 ± 1 ms9.3 — đào tạo | đợt=10, kích thước=224x224: 204 ± 2 ms 19/10. ResNet-SRGAN 10.1 — suy luận | đợt=10, kích thước=512x512: 85,8 ± 0,6 ms10,2 — suy luận | đợt=1, kích thước=1536x1536: 82,4 ± 1,9 ms10,3 — đào tạo | đợt=5, kích thước=512x512: 133 ± 1 ms 10.1 — suy luận | đợt=10, kích thước=512x512: 98,9 ± 0,8 ms10,2 — suy luận | đợt=1, kích thước=1536x1536: 86,1 ± 0,6 ms10,3 — đào tạo | đợt=5, kích thước=512x512: 130,9 ± 0,6 ms 19/11. ResNet-DPED 11.1 — suy luận | đợt=10, kích thước=256x256: 114,9 ± 0,6 ms11,2 — suy luận | đợt=1, kích thước=1024x1024: 182 ± 2 ms11.3 — đào tạo | đợt=15, kích thước=128x128: 178,1 ± 0,8 ms 11.1 — suy luận | đợt=10, kích thước=256x256: 146,4 ± 0,5 ms11,2 — suy luận | đợt=1, kích thước=1024x1024: 234,3 ± 0,5 ms11,3 — đào tạo | đợt=15, kích thước=128x128: 234,7 ± 0,6 ms 19/12. U-Net 12.1 — suy luận | đợt=4, kích thước=512x512: 180,8 ± 0,7 ms12,2 — suy luận | đợt=1, kích thước=1024x1024: 177,0 ± 0,4 ms12,3 — đào tạo | đợt=4, kích thước=256x256: 198,6 ± 0,5 ms 12.1 — suy luận | đợt=4, kích thước=512x512: 222,9 ± 0,5 ms12,2 — suy luận | đợt=1, kích thước=1024x1024: 220,4 ± 0,6 ms12,3 — đào tạo | đợt=4, kích thước=256x256: 229,1 ± 0,7 mili giây 19/13. Nvidia-SPADE 13.1 — suy luận | đợt=5, kích thước=128x128: 54,5 ± 0,5 ms13,2 — đào tạo | đợt=1, kích thước=128x128: 103,6 ± 0,6 ms 13.1 — suy luận | đợt=5, kích thước=128x128: 59,6 ± 0,6 ms13,2 — đào tạo | đợt=1, kích thước=128x128: 94,6 ± 0,6 mili giây 14/19. ICNet 14.1 — suy luận | đợt=5, kích thước=1024x1536: 126,3 ± 0,8 ms14,2 — đào tạo | đợt=10, kích thước=1024x1536: 426 ± 9 mili giây 14.1 — suy luận | đợt=5, kích thước=1024x1536: 144 ± 4 ms14.2 — đào tạo | đợt=10, kích thước=1024x1536: 475 ± 17 mili giây 15/19. PSPNet 15.1 — suy luận | đợt=5, kích thước=720x720: 249 ± 12 ms15.2 — đào tạo | đợt=1, kích thước=512x512: 104,6 ± 0,6 ms 15.1 — suy luận | đợt=5, kích thước=720x720: 291,4 ± 0,5 ms15,2 — đào tạo | đợt=1, kích thước=512x512: 99,8 ± 0,9 mili giây 16/19. Phòng thí nghiệm sâu 16.1 — suy luận | đợt=2, kích thước=512x512: 71,7 ± 0,6 ms16,2 — đào tạo | đợt=1, kích thước=384x384: 84,9 ± 0,5 ms 16.1 — suy luận | đợt=2, kích thước=512x512: 71,5 ± 0,7 ms16,2 — đào tạo | đợt=1, kích thước=384x384: 69,4 ± 0,6 ms 17/19. Pixel-RNN 17.1 — suy luận | đợt=50, kích thước=64x64: 299 ± 14 ms17.2 — đào tạo | lô=10, kích thước=64x64: 1258 ± 64 mili giây 17.1 — suy luận | đợt=50, kích thước=64x64: 321 ± 30 ms17.2 — đào tạo | lô=10, kích thước=64x64: 1278 ± 74 mili giây 18/19. LSTM-Tình cảm 18.1 — suy luận | đợt=100, kích thước=1024x300: 395 ± 11 ms18.2 — đào tạo | đợt=10, kích thước=1024x300: 676 ± 15 mili giây 18.1 — suy luận | đợt=100, kích thước=1024x300: 345 ± 10 ms18.2 — đào tạo | đợt=10, kích thước=1024x300: 774 ± 17 mili giây 19/19. GNMT-Dịch 19.1 — suy luận | đợt=1, kích thước=1x20: 119 ± 2 mili giây 19.1 — suy luận | đợt=1, kích thước=1x20: 156 ± 1 ms Kết quả của thử nghiệm này cho thấy hiệu suất của RTX A4000 cao hơn 6% so với RTX A4000 ADA, tuy nhiên, với lưu ý rằng kết quả thử nghiệm có thể khác nhau tùy thuộc vào tác vụ cụ thể và điều kiện hoạt động được sử dụng. PyTorch RTXA4000 điểm chuẩn Thời gian đào tạo trung bình của mô hình (ms) Đào tạo loại chính xác kép mnasnet0_5 62.995805740356445 Đào tạo loại chính xác kép mnasnet0_75 98.39066505432129 Đào tạo loại chính xác kép mnasnet1_0 126.60405158996582 Đào tạo loại chính xác kép mnasnet1_3 186.89460277557373 Đào tạo loại chính xác kép resnet18 428.08079719543457 Huấn luyện loại độ chính xác kép resnet34 883.5790348052979 Đào tạo loại chính xác gấp đôi resnet50 1016.3950300216675 Đào tạo loại chính xác kép resnet101 1927.2308254241943 Đào tạo loại chính xác kép resnet152 2815.663013458252 Đào tạo loại chính xác gấp đôi resnext50_32x4d 1075.4373741149902 Đào tạo loại chính xác gấp đôi resnext101_32x8d 4050.0641918182373 Đào tạo loại chính xác kép wide_resnet50_2 2615.9953451156616 Đào tạo loại chính xác kép wide_resnet101_2 5218.524832725525 Đào tạo loại chính xác kép densitynet121 751.9759511947632 Đào tạo loại chính xác kép densitynet169 910.3225564956665 Đào tạo loại chính xác kép densitynet201 1163.036551475525 Đào tạo loại chính xác kép densitynet161 2141.505298614502 Đào tạo loại pinchnet chính xác gấp đôi1_0 203.14435005187988 Đào tạo loại pinchnet chính xác gấp đôi1_1 98.04857730865479 Đào tạo loại chính xác kép vgg11 1697.710485458374 Đào tạo loại chính xác kép vgg11_bn 1729.2972660064697 Đào tạo loại chính xác kép vgg13 2491.615080833435 Đào tạo loại chính xác kép vgg13_bn 2545.1631927490234 Đào tạo loại chính xác kép vgg16 3371.1953449249268 Đào tạo loại chính xác kép vgg16_bn 3423.8639068603516 Đào tạo loại chính xác kép vgg19_bn 4314.5153522491455 Đào tạo loại chính xác kép vgg19 4249.422650337219 Đào tạo loại chính xác kép mobilenet_v3_large 105.54619789123535 Đào tạo loại chính xác kép mobilenet_v3_small 37.6680850982666 Đào tạo loại chính xác kép shufflenet_v2_x0_5 26.51611328125 Đào tạo loại chính xác kép shufflenet_v2_x1_0 61.260504722595215 Đào tạo loại chính xác kép shufflenet_v2_x1_5 105.30067920684814 Đào tạo loại chính xác kép shufflenet_v2_x2_0 181.03694438934326 Suy luận loại chính xác kép mnasnet0_5 17.397074699401855 Suy luận loại chính xác kép mnasnet0_75 28.902697563171387 Suy luận loại chính xác kép mnasnet1_0 38.387718200683594 Suy luận loại chính xác kép mnasnet1_3 58.228821754455566 Suy luận loại chính xác kép resnet18 147.95727252960205 Suy luận loại chính xác kép resnet34 293.519492149353 Suy luận loại chính xác gấp đôi resnet50 336.44991874694824 Suy luận loại chính xác kép resnet101 637.9982376098633 Suy luận loại chính xác kép resnet152 948.9351654052734 Suy luận loại chính xác kép resnext50_32x4d 372.80876636505127 Suy luận loại chính xác kép resnext101_32x8d 1385.1624917984009 Suy luận loại chính xác kép wide_resnet50_2 873.048791885376 Suy luận loại chính xác kép wide_resnet101_2 1729.2765426635742 Suy luận kiểu chính xác képdennet121 270.13323307037354 Suy luận kiểu chính xác képdensnet169 327.1932888031006 Suy luận loại chính xác gấp đôidennet201 414.733362197876 Suy luận kiểu chính xác képdennet161 766.3542318344116 Suy luận loại chính xác gấp đôi pinchnet1_0 74.86292839050293 Suy luận kiểu chính xác gấp đôi pinchnet1_1 34.04905319213867 Suy luận loại chính xác kép vgg11 576.3767147064209 Suy luận loại chính xác kép vgg11_bn 580.5839586257935 Suy luận loại chính xác kép vgg13 853.4365510940552 Suy luận loại chính xác kép vgg13_bn 860.3136301040649 Suy luận loại chính xác kép vgg16 1145.091052055359 Suy luận loại chính xác kép vgg16_bn 1152.8028392791748 Suy luận loại chính xác kép vgg19_bn 1444.9562692642212 Suy luận loại chính xác kép vgg19 1437.0987701416016 Suy luận loại chính xác kép mobilenet_v3_large 30.876317024230957 Suy luận loại chính xác kép mobilenet_v3_small 11.234536170959473 Suy luận loại chính xác kép shufflenet_v2_x0_5 7.425284385681152 Suy luận kiểu chính xác kép shufflenet_v2_x1_0 18.25782299041748 Suy luận loại chính xác kép shufflenet_v2_x1_5 33.34946632385254 Suy luận kiểu chính xác kép shufflenet_v2_x2_0 57.84676551818848 RTX A4000 ADA điểm chuẩn Mô hình thời gian đào tạo trung bình Đào tạo loại chính xác một nửa mnasnet0_5 20.266618728637695 Đào tạo loại chính xác một nửa mnasnet0_75 21.445374488830566 Đào tạo loại chính xác một nửa mnasnet1_0 26.714019775390625 Đào tạo loại chính xác một nửa mnasnet1_3 26.5126371383667 Đào tạo một nửa loại chính xác resnet18 19.624991416931152 Đào tạo một nửa độ chính xác loại resnet34 32.46446132659912 Đào tạo một nửa loại chính xác resnet50 57.17473030090332 Đào tạo một nửa loại chính xác resnet101 98.20127010345459 Đào tạo một nửa loại chính xác resnet152 138.18389415740967 Đào tạo một nửa loại chính xác resnext50_32x4d 75.56005001068115 Đào tạo một nửa loại chính xác resnext101_32x8d 228.8706636428833 Đào tạo loại chính xác một nửa wide_resnet50_2 113.76442432403564 Đào tạo loại chính xác một nửa wide_resnet101_2 204.17311191558838 Đào tạo một nửa loại chính xác densitynet121 68.97401332855225 Đào tạo một nửa loại chính xác densitynet169 85.16453742980957 Đào tạo một nửa loại chính xác densitynet201 103.299241065979 Đào tạo một nửa loại chính xác densitynet161 137.54578113555908 Đào tạo loại pinchnet bán chính xác1_0 16.71830177307129 Đào tạo loại pinchnet bán chính xác1_1 12.906527519226074 Đào tạo một nửa loại chính xác vgg11 51.7004919052124 Đào tạo loại chính xác một nửa vgg11_bn 57.63327598571777 Đào tạo một nửa loại chính xác vgg13 86.10869407653809 Đào tạo loại chính xác một nửa vgg13_bn 95.86676120758057 Đào tạo một nửa loại chính xác vgg16 102.91589260101318 Đào tạo loại chính xác một nửa vgg16_bn 113.74778270721436 Đào tạo loại chính xác một nửa vgg19_bn 131.56734943389893 Đào tạo một nửa loại chính xác vgg19 119.70191955566406 Đào tạo loại chính xác một nửa mobilenet_v3_large 31.30636692047119 Đào tạo loại chính xác một nửa mobilenet_v3_small 19.44464683532715 Đào tạo loại chính xác một nửa shufflenet_v2_x0_5 13.710575103759766 Đào tạo loại chính xác một nửa shufflenet_v2_x1_0 23.608479499816895 Đào tạo loại chính xác một nửa shufflenet_v2_x1_5 26.793746948242188 Đào tạo loại chính xác một nửa shufflenet_v2_x2_0 24.550962448120117 Loại suy luận chính xác một nửa mnasnet0_5 4.418272972106934 Suy luận loại chính xác một nửa mnasnet0_75 4.021778106689453 Loại suy luận chính xác một nửa mnasnet1_0 4.42598819732666 Loại suy luận chính xác một nửa mnasnet1_3 4.618926048278809 Suy luận một nửa chính xác loại resnet18 5.803341865539551 Suy luận một nửa loại chính xác resnet34 9.756693840026855 Suy luận một nửa loại chính xác resnet50 15.873079299926758 Suy luận một nửa chính xác loại resnet101 28.268003463745117 Suy luận một nửa chính xác loại resnet152 40.04594326019287 Suy luận một nửa loại chính xác resnext50_32x4d 19.53421115875244 Suy luận một nửa loại chính xác resnext101_32x8d 62.44826316833496 Suy luận loại chính xác một nửa wide_resnet50_2 33.533992767333984 Suy luận loại chính xác một nửa wide_resnet101_2 59.60897445678711 Suy luận nửa chính xác loại densitynet121 18.052735328674316 Suy luận nửa chính xác loại densitynet169 21.956982612609863 Suy luận một nửa loại chính xác densitynet201 27.85182476043701 Suy luận một nửa loại chính xác densitynet161 37.41891860961914 Suy luận loại chính xác một nửa pinchnet1_0 4.391803741455078 Suy luận loại chính xác một nửa pinchnet1_1 2.4281740188598633 Suy luận loại chính xác một nửa vgg11 17.11493968963623 Suy luận loại chính xác một nửa vgg11_bn 18.40585231781006 Suy luận một nửa loại chính xác vgg13 28.438148498535156 Suy luận loại chính xác một nửa vgg13_bn 30.672597885131836 Suy luận một nửa loại chính xác vgg16 34.43562984466553 Suy luận loại chính xác một nửa vgg16_bn 36.92122936248779 Suy luận loại chính xác một nửa vgg19_bn 43.144264221191406 Suy luận loại chính xác một nửa vgg19 40.5385684967041 Suy luận loại chính xác một nửa mobilenet_v3_large 5.350713729858398 Loại suy luận chính xác một nửa mobilenet_v3_small 4.016985893249512 Suy luận loại chính xác một nửa shufflenet_v2_x0_5 5.079126358032227 Suy luận loại chính xác một nửa shufflenet_v2_x1_0 5.593156814575195 Suy luận loại chính xác một nửa shufflenet_v2_x1_5 5.649552345275879 Suy luận loại chính xác một nửa shufflenet_v2_x2_0 5.355663299560547 Đào tạo loại chính xác kép mnasnet0_5 50.2386999130249 Đào tạo loại chính xác kép mnasnet0_75 80.66896915435791 Đào tạo loại chính xác kép mnasnet1_0 103.32422733306885 Đào tạo loại chính xác kép mnasnet1_3 154.6230697631836 Đào tạo loại chính xác kép resnet18 337.94031620025635 Huấn luyện loại độ chính xác kép resnet34 677.7706575393677 Đào tạo loại chính xác gấp đôi resnet50 789.9243211746216 Đào tạo loại chính xác kép resnet101 1484.3351316452026 Đào tạo loại chính xác kép resnet152 2170.570478439331 Đào tạo loại chính xác gấp đôi resnext50_32x4d 877.3719882965088 Đào tạo loại chính xác gấp đôi resnext101_32x8d 3652.4944639205933 Đào tạo loại chính xác kép wide_resnet50_2 2154.612874984741 Đào tạo loại chính xác kép wide_resnet101_2 4176.522083282471 Đào tạo loại chính xác kép densitynet121 607.8699731826782 Đào tạo loại chính xác kép densitynet169 744.6409797668457 Đào tạo loại chính xác kép densitynet201 962.677731513977 Đào tạo loại chính xác kép densitynet161 1759.772515296936 Đào tạo loại pinchnet chính xác gấp đôi1_0 164.3690824508667 Đào tạo loại pinchnet chính xác gấp đôi1_1 78.70647430419922 Đào tạo loại chính xác kép vgg11 1362.6095294952393 Đào tạo loại chính xác kép vgg11_bn 1387.2539138793945 Đào tạo loại chính xác kép vgg13 2006.0230445861816 Đào tạo loại chính xác kép vgg13_bn 2047.526364326477 Đào tạo loại chính xác kép vgg16 2702.2086429595947 Đào tạo loại chính xác kép vgg16_bn 2747.241234779358 Đào tạo loại chính xác kép vgg19_bn 3447.1724700927734 Đào tạo loại chính xác kép vgg19 3397.990345954895 Đào tạo loại chính xác kép mobilenet_v3_large 84.65698719024658 Đào tạo loại chính xác kép mobilenet_v3_small 29.816465377807617 Đào tạo loại chính xác kép shufflenet_v2_x0_5 27.401342391967773 Đào tạo loại chính xác kép shufflenet_v2_x1_0 48.322744369506836 Đào tạo loại chính xác kép shufflenet_v2_x1_5 82.22103118896484 Đào tạo loại chính xác kép shufflenet_v2_x2_0 141.7021369934082 Suy luận loại chính xác kép mnasnet0_5 12.988653182983398 Suy luận loại chính xác kép mnasnet0_75 22.422199249267578 Suy luận loại chính xác kép mnasnet1_0 30.056486129760742 Suy luận loại chính xác kép mnasnet1_3 46.953935623168945 Suy luận loại chính xác kép resnet18 118.04479122161865 Suy luận loại chính xác kép resnet34 231.52336597442627 Suy luận loại chính xác kép resnet50 268.63497734069824 Suy luận loại chính xác kép resnet101 495.2010440826416 Suy luận loại chính xác kép resnet152 726.4922094345093 Suy luận loại chính xác kép resnext50_32x4d 291.47679328918457 Suy luận loại chính xác kép resnext101_32x8d 1055.10901927948 Suy luận loại chính xác kép wide_resnet50_2 690.6917667388916 Suy luận loại chính xác kép wide_resnet101_2 1347.5529861450195 Suy luận kiểu chính xác képdennet121 224.35829639434814 Suy luận kiểu chính xác képdensnet169 268.9145278930664 Suy luận loại chính xác gấp đôidennet201 343.1972026824951 Suy luận kiểu chính xác képdennet161 635.866231918335 Suy luận loại chính xác gấp đôi pinchnet1_0 61.92759037017822 Suy luận kiểu chính xác gấp đôi pinchnet1_1 27.009410858154297 Suy luận loại chính xác kép vgg11 462.3375129699707 Suy luận loại chính xác kép vgg11_bn 468.4495782852173 Suy luận loại chính xác kép vgg13 692.8219032287598 Suy luận loại chính xác kép vgg13_bn 703.3538103103638 Suy luận loại chính xác kép vgg16 924.4353818893433 Suy luận loại chính xác kép vgg16_bn 936.5075063705444 Suy luận loại chính xác kép vgg19_bn 1169.098300933838 Suy luận loại chính xác kép vgg19 1156.3771772384644 Suy luận loại chính xác kép mobilenet_v3_large 24.2356014251709 Suy luận loại chính xác kép mobilenet_v3_small 8.85490894317627 Suy luận loại chính xác kép shufflenet_v2_x0_5 6.360034942626953 Suy luận kiểu chính xác kép shufflenet_v2_x1_0 14.301743507385254 Suy luận loại chính xác kép shufflenet_v2_x1_5 24.863481521606445 Suy luận kiểu chính xác kép shufflenet_v2_x2_0 43.8505744934082 Phần kết luận Card đồ họa mới đã được chứng minh là một giải pháp hiệu quả cho một số tác vụ công việc. Nhờ kích thước nhỏ gọn, nó lý tưởng cho các máy tính SFF (Small Form Factor) mạnh mẽ. Ngoài ra, điều đáng chú ý là 6.144 lõi CUDA và bộ nhớ 20 GB với bus 160 bit khiến thẻ này trở thành một trong những sản phẩm hiệu quả nhất trên thị trường. Hơn nữa, TDP thấp 70W giúp giảm thiểu chi phí điện năng tiêu thụ. Bốn cổng Mini-DisplayPort cho phép thẻ được sử dụng với nhiều màn hình hoặc như một giải pháp đồ họa đa kênh. RTX 4000 SFF ADA thể hiện một bước tiến đáng kể so với các thế hệ trước, mang lại hiệu suất tương đương với một chiếc thẻ có mức tiêu thụ điện năng gấp đôi. Không có đầu nối nguồn PCIe, RTX 4000 SFF ADA dễ dàng tích hợp vào các máy trạm tiêu thụ điện năng thấp mà không làm giảm hiệu suất cao.