tác giả:  (1) Iason Ofeidis, Khoa Kỹ thuật Điện và Viện Khoa học Mạng Yale, Đại học Yale, New Haven {Đóng góp ngang bằng};  (2) Diego Kiedanski, Khoa Kỹ thuật Điện và Viện Khoa học Mạng Yale, Đại học Yale, New Haven {Đóng góp ngang bằng};  (3) Leandros TassiulasLevon Ghukasyan, Activeloop, Mountain View, CA, USA, Khoa Kỹ thuật Điện và Viện Khoa học Mạng Yale, Đại học Yale, New Haven.  Bảng liên kết   Tóm tắt và giới thiệu   Trình tải dữ liệu   Thiết lập thử nghiệm   Các kết quả tính toán số   Cuộc thảo luận   Công việc có liên quan   Kết luận, Lời cảm ơn và Tài liệu tham khảo   A. Kết quả số Tiếp theo.  4. KẾT QUẢ CON SỐ  Đối với tập thử nghiệm đầu tiên, chúng tôi đã đánh giá hiệu suất của tất cả các thư viện khi thay đổi số lượng công nhân (xem 2) cũng như kích thước lô. Các thử nghiệm này được chạy trên máy chủ cục bộ với các thông số kỹ thuật sau: Intel(R) Core(TM) i9-10900K, 2 x NVIDIA GeForce RTX 3090 và một ổ cứng HDD có dung lượng lưu trữ 10TB (6GB/s) [5].  Chúng tôi đã đánh giá ba chế độ: mặc định (GPU đơn), phân phối (hai GPU) và lọc (GPU đơn) cho tất cả các kết hợp có thể có của 0, 1 và 2 công nhân. Đối với CIFAR10 và RANDOM, kích thước lô là 16, 64 hoặc 128. Đối với CoCo, chúng tôi đã sử dụng các giá trị nhỏ hơn: 1, 2 và 4. Tất cả các thử nghiệm này đều sử dụng ngưỡng 10 và biến thể chạy mô hình (chuyển tiếp & chuyền ngược).  4.1 Tốc độ phụ thuộc vào cỡ lô và công nhân  Điều đầu tiên chúng tôi nhận thấy khi kiểm tra các thử nghiệm là sự khác biệt giữa các thư viện phụ thuộc vào vấn đề và tập dữ liệu được sử dụng. Hình 4 hiển thị một so sánh như vậy đối với CIFAR10 trên một GPU, trong khi Hình 5 hiển thị kết quả tương tự cho CoCo, cũng trên một GPU.  Điều này đã được dự đoán trước vì trong trường hợp sau, thời gian cần thiết để tính toán lượt tiến và lượt lùi chiếm ưu thế trong thời gian chạy tổng thể, điều này không xảy ra đối với hình ảnh.   phân loại. Bạn cũng có thể lưu ý sự khác biệt tổng thể về tốc độ: từ 4000 mẫu mỗi giây xuống chỉ còn 20.  Thứ hai, chúng tôi chỉ ra rằng việc tăng kích thước lô sẽ làm tăng tốc độ xử lý trong hầu hết các trường hợp. Tuy nhiên, điều này không đúng với số lượng công nhân. Chúng ta có thể quan sát trong Hình 6 rằng hiệu suất của FCV giảm khi số lượng công nhân tăng lên, trong khi Deep Lake giữ nguyên ở mức 1 công nhân chứ không phải 2. Một lời giải thích là các thư viện có thuật toán nội bộ riêng quyết định cách mở rộng các luồng và quy trình nếu cần. Điểm trên phù hợp với người dùng các thư viện này, vì trải nghiệm với một trong số chúng có thể không phù hợp với thư viện khác.  4.2 Tăng tốc độ khi sử dụng DDP  Một tính năng mong muốn của trình tải dữ liệu là khả năng mở rộng tuyến tính theo số lượng GPU. Điều này không phải lúc nào cũng thực hiện được và phụ thuộc vào cơ chế tải nội bộ của từng thư viện. Chúng tôi khám phá cách các thư viện này hoạt động bằng cách so sánh mức tăng tốc độ khi sử dụng một hoặc hai GPU. Hình 7 hiển thị kết quả cho tập dữ liệu RANDOM. Mỗi thanh biểu thị tốc độ tối đa đạt được trên tất cả các kích cỡ lô, số lượng công nhân và số lần lặp lại. Theo một cách nào đó, điều này phản ánh tốc độ tối đa mà thư viện có thể đạt được. Chúng tôi quan sát thấy rằng các thư viện tăng tốc khoảng 40%, trung bình chưa đến một nửa mức tăng tuyến tính. Có hai trường hợp đặc biệt đáng ngạc nhiên. Một mặt, Torchdata hoạt động kém hơn với hai GPU so với một GPU. Mặt khác, FCV đã đạt được tốc độ tăng cao hơn mức có thể về mặt lý thuyết. Có một số hiện vật có thể được sử dụng ở đây, nhưng rất có thể, đó là do số lần lặp lại mà chúng tôi có thể chạy có hạn (do nguồn lực hạn chế). Ngoài ra, điều này có thể   chỉ ra cấu hình sai trong Torchdata: tài liệu về chạy thử nghiệm trong môi trường nhiều GPU bị hạn chế đối với hầu hết các thư viện.   4.3 So sánh có và không có tiến và lùi  Như chúng ta đã thảo luận khi trình bày Thuật toán 1, chúng ta phải quyết định xem liệu chúng ta có kết hợp các đường chuyền tiến và lùi vào tính toán tốc độ hay không. Có những lập luận cho cả hai. Một mặt, việc bao gồm cả các đường chuyền tiến và lùi phản ánh tốt hơn thời gian huấn luyện thực tế của thuật toán. Đồng thời, một số thư viện có thể ưu tiên tối ưu hóa các bước thường được thực hiện trong quá trình chuyển tiếp, vì vậy   dừng lại ở đó có vẻ như họ sẽ mất nhiều thời gian hơn.  Mặt khác, nếu thời gian dành cho lượt tiến và lượt lùi lớn hơn nhiều so với thời gian chỉ tải dữ liệu, kể cả thời gian đó trong tính toán chắc chắn sẽ che giấu sự khác biệt giữa các thư viện.  Để hiểu xem sự thay đổi về hành vi có đáng chú ý hay không, chúng tôi đã sử dụng tập dữ liệu RANDOM để so sánh sự khác biệt về tốc độ trung bình khi đưa hai thao tác mô hình vào tính toán và khi không. Kết quả được trình bày trong Hình 8. Chúng ta có thể quan sát thấy hầu hết các thư viện đều có tốc độ tăng nhẹ khi loại trừ mô hình (ngoại trừ FFCV, hiệu suất giảm một nửa) và quan trọng nhất là hiệu suất tương đối giữa các thư viện vẫn gần như giống nhau.  4.4 Cân bằng tốc độ khi lọc dữ liệu  Đối với các thử nghiệm lọc của mình, chúng tôi đã chọn hai lớp để giữ lại cho CIFAR10 và RANDOM: chó và xe tải, tương ứng là 0 và 13. Đối với CoCO, chúng tôi đã chọn ba lớp: pizza, couch, cat.  Chúng tôi nhận thấy rằng hầu hết các thư viện không có cơ chế lọc tốt để tránh lặp lại toàn bộ tập dữ liệu. Ví dụ: việc triển khai lọc PyTorch của chúng tôi yêu cầu xây dựng bộ lấy mẫu tùy chỉnh với các chỉ mục của hình ảnh mong muốn.  Điều này khá nhanh đối với một tập dữ liệu nhỏ nhưng không khả thi đối với các tập dữ liệu lớn: việc lọc CoCo bằng PyTorch cực kỳ tốn kém. Nhìn chung, hiệu suất khá giống nhau khi lọc và khi không lọc[6]. Tương tự như hình   Như được hiển thị trong Hình 7, trong Hình 9, chúng ta có thể thấy sự chậm lại do quá trình lọc: mặc dù điều đó là đáng kể đối với Torchdata và Webdataset, nhưng chúng tôi đã thấy kết quả đảo ngược khi làm việc với Bộ dữ liệu CoCo.  4.5 Đào tạo trong khi truyền phát qua mạng  Lý tưởng nhất là chúng ta có thể tách bộ lưu trữ dữ liệu khỏi quá trình đào tạo máy học và chỉ cần kết nối cơ sở dữ liệu lưu trữ dữ liệu của chúng ta với khung ML mà chúng ta đã chọn, bất kể cả hai nằm ở đâu. Điều đó liên quan đến việc gửi dữ liệu đào tạo qua mạng và mất tốc độ đáng kể. Với chi phí cao liên quan đến việc thuê phần cứng tăng tốc GPU trên đám mây, có vẻ như sự tiện lợi này không đáng có. Nhưng phải không?  Một số thư viện được xem xét trong bài viết này cho phép chỉ định một tập dữ liệu có thể truy cập qua internet: Webdataset, Hub và Deep Lake đặc biệt giỏi về vấn đề này [7]. Câu hỏi sau đó trở thành: sự cân bằng giữa tính dễ sử dụng và thời gian chạy lớn đến mức nào?  Chúng tôi thiết lập thử nghiệm sau đây để cung cấp một số hiểu biết sâu sắc về câu hỏi này. Chúng tôi đã chạy hai kỷ nguyên đầy đủ của bộ dữ liệu RANDOM cho ba thư viện: Hub, Deep Lake và Webdataset, đồng thời thay đổi nguồn gốc của dữ liệu. Ba vị trí đã được xem xét: một bản sao cục bộ trong máy chạy ổ cứng thử nghiệm, một bản sao trong bộ chứa S3 (ở khu vực gần nhất với máy của chúng tôi) và một bản sao được lưu trữ trong MinIO (một mã nguồn mở tương đương với S3 có thể được được lưu trữ cục bộ) chạy trên một máy tương tự trong cùng một mạng cục bộ (cả hai máy đều được kết nối qua WiFi). Máy tính của thí nghiệm có CPU Intel(R) Core(TM) i7-7700 @ 3.60GHz, RAM 16 GB, NVIDIA GeForce RTX   2070 Rev và ổ cứng Samsung SSD 850 với dung lượng lưu trữ 256 GB. Về độ trễ, Thời gian khứ hồi từ máy trạm chạy thử nghiệm đến máy chủ MinIO (nằm trong cùng phòng và trong cùng một WiFi cục bộ) mất 59,2 ± 58,5 mili giây (tối thiểu 8,8 mili giây), trong khi đối với nhóm S3 trong AWS máy chủ mất 17,3 ± 1,3 mili giây (tối thiểu 14,8 mili giây).  Hình 10 mô tả tổng thời gian chạy của chín thử nghiệm và tỷ lệ phần trăm màu trắng biểu thị sự chậm lại (tăng thời gian chạy) so với trường hợp cục bộ. Chúng ta có thể quan sát thấy rằng mặc dù Hub và Webdataset có mức tăng đáng kể khi chuyển sang AWS, Deep Lake vẫn cố gắng duy trì tốc độ gần như tương tự với mức tăng chỉ 13%. Một thông tin chi tiết hữu ích khác có thể được rút ra từ kết quả: cài đặt MinIO cho thấy tốc độ chậm gần gấp đôi so với cài đặt AWS, như trong Hình 10. Kết quả này có thể được giải thích chủ yếu bằng sự khác biệt về Thời gian khứ hồi trung bình được hiển thị ở trên, nhấn mạnh rằng mạng cục bộ (ví dụ: mạng nội bộ công ty[8]) có thể không phải là cách hiệu quả nhất để lưu trữ tập dữ liệu do cấu hình và hạn chế phức tạp của chúng. Hơn nữa, kết quả này cũng chỉ ra rằng bộ lưu trữ phục vụ các tập dữ liệu qua mạng đóng vai trò quan trọng trong việc cho phép đào tạo từ xa và có thể đặt ra các câu hỏi về các phương pháp hay nhất để phân phát các tập dữ liệu. Cụ thể, dữ liệu từ S3 được cung cấp song song từ các máy chủ khác nhau với tính năng cân bằng tải trong khi chúng tôi có quyền truy cập vào một phiên bản MinIO duy nhất.  Sơ đồ cho tất cả các thí nghiệm bổ sung có thể được tìm thấy trong Phụ lục A.  Bài viết này   theo giấy phép CC 4.0. có sẵn trên arxiv  [5] https://www.seagate.com/www-content/productcontent/barracuda-fam/barracuda-new/enus/docs/100835983b.pdf  [6] về tốc độ. Việc xây dựng bộ lấy mẫu cho PyTorch được thực hiện trước, ảnh hưởng đáng kể đến tổng thời gian chạy.  [7] Squirrel có khả năng này, nhưng chúng tôi không chỉ định được địa chỉ MinIO nên chúng tôi đã loại nó khỏi so sánh. Chúng tôi gặp vấn đề tương tự với Torchdata.  [8] Trong trường hợp này một mạng lưới trường đại học

Part of HackerNoon's growing list of open-source research papers, promoting free access to academic material.

Read My Stories

We cover the most cutting edge academic research and expert blog posts on serialization. Also big fans of the Serial pod

Serialization's blog

Nghe bài viết này bằng Tiếng Anh, đọc bởi robot thông minh của HackerNoon

dài quá đọc không nổi

Boost your HackerNoon story @ $159.99! 🚀

Tổng quan về bối cảnh trình tải dữ liệu: Kết quả bằng số

About Author

BÌNH LUẬN

chuyên mục

BÀI VIẾT NÀY CŨNG CÓ MẶT TẠI

Related Stories

85 Stories To Learn About Travel

85 Stories To Learn About Productivity Hacks

184 Stories To Learn About Psychology

287 Stories To Learn About Blockchain Development

85 Stories To Learn About Travel

85 Stories To Learn About Productivity Hacks

184 Stories To Learn About Psychology

287 Stories To Learn About Blockchain Development

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps