Tổng quan về bối cảnh trình tải dữ liệu: Kết luận, lời cảm ơn và tài liệu tham khảo

Bảng liên kết

• Tóm tắt và giới thiệu
• Trình tải dữ liệu
• Thiết lập thử nghiệm
• Các kết quả tính toán số
• Cuộc thảo luận
• Công việc có liên quan
• Kết luận, lời cảm ơn và tài liệu tham khảo
• A. Kết quả số Tiếp theo.

7. KẾT LUẬN

Trong bài báo này, chúng tôi đã khám phá bối cảnh hiện tại của các thư viện Pytorch cho phép những người thực hành học máy tải tập dữ liệu vào mô hình của họ. Các thư viện này cung cấp nhiều tính năng từ tốc độ tăng lên, chỉ tạo chế độ xem một tập hợp con dữ liệu và tải dữ liệu từ bộ lưu trữ từ xa. Chúng tôi tin rằng tải từ xa hứa hẹn nhất cho tất cả các tính năng này vì nó cho phép tách rời việc lưu trữ dữ liệu và đào tạo mô hình. Mặc dù tốc độ tải qua Internet công cộng đương nhiên là chậm hơn so với từ ổ đĩa cục bộ, nhưng một số thư viện, chẳng hạn như Deep Lake, đã cho thấy kết quả đáng chú ý (chỉ tăng 13% về thời gian). Trong hầu hết các trường hợp, chúng tôi không tìm thấy sự khác biệt đáng kể về hiệu suất giữa các thư viện ngoại trừ FFCV dành cho nhiều GPU và Deep Lake để tải qua mạng, vốn hoạt động rất tốt. Tuy nhiên, chúng tôi nhận thấy rằng tài liệu dành cho hầu hết các thư viện này không có sẵn hoặc không đầy đủ, điều này có thể dẫn đến thiết lập bị định cấu hình sai. Vì khó tìm được các phương pháp thực hành tốt nên người lập trình có thể sử dụng những gì hoạt động tốt trong một bộ nạp dữ liệu khác, bộ nạp dữ liệu này không cần phải hoạt động trong thư viện mới. Tại thời điểm này, mức tăng hiệu suất dường như không đủ lớn để biện minh cho việc di chuyển các cơ sở mã hiện có cho các công việc vừa và nhỏ. Đối với các công việc lớn hơn, chi phí có thể giảm đáng kể khi chuyển sang một trong những thư viện nhanh hơn. Cuối cùng, chúng tôi tin rằng một hệ thống bộ nhớ đệm cải tiến được thiết kế cho các ứng dụng học máy có thể là phần cuối cùng trong việc hiện thực hóa tầm nhìn về một hệ thống mô hình tập dữ liệu thực sự tách rời. Bất kỳ cách tiếp cận nào như vậy sẽ phải xây dựng kiến thức hiện có về tóm tắt dữ liệu và học tập tích cực.

SỰ NHÌN NHẬN

Các tác giả xin cảm ơn nhóm Activeloop vì sự hỗ trợ và hiểu biết sâu sắc của họ trong quá trình phát triển dự án này. Các tác giả cũng xin cảm ơn cả Tryolabs và Activeloop về nguồn lực của họ để thực hiện một số thử nghiệm.

NGƯỜI GIỚI THIỆU

Abadi, M., Agarwal, A., Barham, P., Brevdo, E., Chen, Z., Citro, C., Corrado, GS, Davis, A., Dean, J., Devin, M., Ghemawat , S., Goodfellow, I., Harp, A., Irving, G., Isard, M., Jia, Y., Jozefowicz, R., Kaiser, L., Kudlur, M., Levenberg, J., Mane , D., Monga, R., Moore, S., Murray, D., `Olah, C., Schuster, M., Shlens, J., Steiner, B., Sutskever, I., Talwar, K., Tucker, P., Vanhoucke, V., Vasudevan, V., Viegas, F., Vinyals, O., Warden, P., Wattenberg, M., `Wicke, M., Yu, Y., và Zheng, X . TensorFlow: Học máy quy mô lớn trên các hệ thống không đồng nhất, 2015. URL https://www.tensorflow.org/. Phần mềm có sẵn từ tensorflow.org.

Adolf, R., Rama, S., Reagen, B., Wei, G.-Y. và Brooks, D. Fathom: Khối lượng công việc tham khảo cho các phương pháp học sâu hiện đại. Năm 2016, Hội nghị chuyên đề quốc tế của IEEE về đặc tính khối lượng công việc (IISWC), trang 1–10. IEEE, 2016.

Nghiên cứu Baidu. DeepBench, 2020. URL https://github.com/baidu-research/DeepBench.

Ben-Nun, T., Besta, M., Huber, S., Ziogas, AN, Peter, D. và Hoefler, T. Cơ sở hạ tầng đo điểm chuẩn mô-đun cho việc học sâu có thể tái tạo và hiệu suất cao. Năm 2019 Hội nghị chuyên đề về xử lý phân tán và song song quốc tế của IEEE (IPDPS), trang 66–77. IEEE, 2019.

Phân tích Bianco, S., Cadene, R., Celona, L. và Napoletano, P. Điểm chuẩn của các kiến trúc mạng lưới thần kinh sâu đại diện. Truy cập IEEE, 6:64270–64277, 2018

Buslaev, A., Iglovikov, VI, Khvedchenya, E., Parinov, A., Druzhinin, M., và Kalinin, AA Albumentations: tăng cường hình ảnh nhanh chóng và linh hoạt. Thông tin, 11(2): 125, 2020.

Coleman, C., Kang, D., Narayanan, D., Nardi, L., Zhao, T., Zhang, J., Bailis, P., Olukotun, K., Re, C., và Zaharia, `M Phân tích của Dawnbench, một tiêu chuẩn về hiệu suất học máy theo thời gian chính xác. Đánh giá hệ điều hành ACM SIGOPS, 53(1):14–25, 2019.

Gao, W., Tang, F., Zhan, J., Lan, C., Luo, C., Wang, L., Dai, J., Cao, Z., Xiong, X., Jiang, Z., et al. Aibench: Phương pháp đo điểm chuẩn dành riêng cho từng miền linh hoạt và bộ điểm chuẩn ai. bản in trước arXiv arXiv:2002.07162, 2020.

Hadidi, R., Cao, J., Xie, Y., Asgari, B., Krishna, T. và Kim, H. Đặc trưng cho việc triển khai mạng lưới thần kinh sâu trên các thiết bị biên thương mại. Năm 2019, Hội nghị chuyên đề quốc tế của IEEE về Đặc tính khối lượng công việc (IISWC), trang 35–48. IEEE, 2019.

Hambardzumyan, S., Tuli, A., Ghukasyan, L., Rahman, F., Topchyan, H., Isayan, D., Harutyunyan, M., Hakobyan, T., Stranic, I., và Buniatyan, D. Hồ sâu: ngôi nhà trong hồ dành cho học tập sâu, năm 2022. URL https://arxiv.org/abs/2209.10785.

Phòng thí nghiệm tính toán không đồng nhất tại HKBU, D. DLBench, 2017. URL https://github.com/hclhkbu/ dlbench.

Hinton, G., Srivastava, N. và Swersky, K. Mạng lưới thần kinh cho máy học bài giảng 6a tổng quan về quá trình giảm độ dốc theo lô nhỏ. Được trích dẫn vào ngày 14(8):2, 2012.

Hu, H., Jiang, C., Zhong, Y., Peng, Y., Wu, C., Zhu, Y., Lin, H., và Guo, C. dpro: Bộ công cụ tối ưu hóa và chẩn đoán hiệu suất chung dành cho đẩy nhanh việc đào tạo dnn phân tán. Kỷ yếu của Hệ thống và Học máy, 4:623–637, 2022.

Ignatov, A., Timofte, R., Chou, W., Wang, K., Wu, M., Hartley, T., và Van Gool, L. Ai điểm chuẩn: Chạy mạng lưới thần kinh sâu trên điện thoại thông minh Android. Trong Kỷ yếu của Hội thảo Hội nghị Châu Âu về Thị giác Máy tính (ECCV), trang 0–0, 2018.

Krizhevsky, A., Hinton, G., và cộng sự. Học nhiều lớp tính năng từ những hình ảnh nhỏ. 2009.

Kumar, AV và Sivathanu, M. Quiver: Bộ nhớ đệm lưu trữ đầy đủ thông tin dành cho học sâu. Trong Hội nghị USENIX lần thứ 18 về Công nghệ lưu trữ và tệp (FAST 20), trang 283–296, Santa Clara, CA, tháng 2 năm 2020. Hiệp hội USENIX. ISBN 978-1-939133-12-0. URL https://www.usenix.org/conference/fast20/trình bày/kumar.

Leclerc, G., Ilyas, A., Engstrom, L., Park, SM, Salman, H. và Madry, A. ffcv. https://github.com/ libffcv/ffcv/, 2022. cam kết xxxxxxx.

Li, S., Zhao, Y., Varma, R., Salpekar, O., Noordhuis, P., Li, T., Paszke, A., Smith, J., Vaughan, B., Damania, P., et al. Pytorch đã phân phối: Kinh nghiệm về tăng tốc đào tạo song song dữ liệu. bản in trước arXiv arXiv:2006.15704, 2020.

Lin, T.-Y., Maire, M., Belongie, S., Hays, J., Perona, P., Ramanan, D., Dollar, P., và Zitnick, CL Microsoft coco: ` Các đối tượng phổ biến trong ngữ cảnh . Trong hội nghị Châu Âu về thị giác máy tính, trang 740–755. Mùa xuân, 2014.

Liu, L., Wu, Y., Wei, W., Cao, W., Sahin, S., và Zhang, Q. Điểm chuẩn các khung học tập sâu: Cân nhắc thiết kế, số liệu và hơn thế nữa. Năm 2018, Hội nghị quốc tế lần thứ 38 của IEEE về Hệ thống máy tính phân tán (ICDCS), trang 1258–1269. IEEE, 2018.

Mattson, P., Cheng, C., Diamos, G., Coleman, C., Micikevicius, P., Patterson, D., Tang, H., Wei, G.-Y., Bailis, P., Bittorf, V., và cộng sự. Điểm chuẩn đào tạo Mlperf. Kỷ yếu của Hệ thống và Học máy, 2:336–349, 2020.

Mohan, J., Phanishayee, A., Raniwala, A., và Chidambaram, V. Phân tích và giảm thiểu tình trạng tắc nghẽn dữ liệu trong đào tạo dnn, 2020. URL https://arxiv.org/abs/ 2007.06775.

Paszke, A., Gross, S., Massa, F., Lerer, A., Bradbury, J., Chanan, G., Killeen, T., Lin, Z., Gimelshein, N., Antiga, L., et al. Pytorch: Một thư viện deep learning có phong cách bắt buộc, hiệu suất cao. Những tiến bộ trong hệ thống xử lý thông tin thần kinh, ngày 32 năm 2019.

Nhóm nòng cốt PyTorch. PyTorch: Tài liệu PyTorch. PyTorch.

Shi, S., Wang, Q., Xu, P. và Chu, X. Đánh giá các công cụ phần mềm học sâu hiện đại. Năm 2016, Hội nghị quốc tế lần thứ 7 về Điện toán đám mây và Dữ liệu lớn (CCBD), trang 99–104. IEEE, 2016.

Tao, J.-H., Du, Z.-D., Guo, Q., Lan, H.-Y., Zhang, L., Chu, S.-Y., Xu, L.-J., Liu, C., Liu, H.-F., Tang, S., và những người khác. Benchip: Điểm chuẩn của bộ xử lý thông minh. Tạp chí Khoa học và Công nghệ Máy tính, 33(1):1–23, 2018.

Nhóm, AD Hub: Định dạng tập dữ liệu cho ai. một api đơn giản để tạo, lưu trữ, cộng tác trên các bộ dữ liệu ai ở mọi kích thước và truyền chúng tới các khung ml ở quy mô lớn. GitHub. Lưu ý: https://github.com/activeloopai/Hub, 2022a.

Nhóm, SD Squirrel: Thư viện python cho phép các nhóm ml chia sẻ, tải và chuyển đổi dữ liệu theo cách cộng tác, linh hoạt và hiệu quả. GitHub. Lưu ý: https://github.com/merantix-momentum/squirrelcore, 2022b. doi: 10.5281/zenodo.6418280.

TorchData. Torchdata: Một thư viện nguyên mẫu của các nguyên mẫu tải dữ liệu mô-đun phổ biến để dễ dàng xây dựng các đường dẫn dữ liệu linh hoạt và hiệu quả. https: //github.com/pytorch/data, 2021.

Wang, Y., Wei, G.-Y. và Brooks, D. Một phương pháp có hệ thống để phân tích nền tảng phần cứng và phần mềm học sâu. Kỷ yếu của Hệ thống và Học máy, 2:30–43, 2020.

Bộ dữ liệu web. Định dạng tập dữ liệu web. https://github. com/webdataset/webdataset, 2013.

Wu, Y., Cao, W., Sahin, S. và Liu, L. Đặc tính thử nghiệm và phân tích các khung học tập sâu. Năm 2018 Hội nghị quốc tế của IEEE về Dữ liệu lớn (Dữ liệu lớn), trang 372–377. IEEE, 2018.

Wu, Y., Liu, L., Pu, C., Cao, W., Sahin, S., Wei, W. và Zhang, Q. Một nghiên cứu đo lường so sánh về học sâu như một khung dịch vụ. Giao dịch của IEEE về Điện toán Dịch vụ, 2019.

Ma trận Zhang, W., Wei, W., Xu, L., Jin, L. và Li, C. Ai: Một chuẩn mực học sâu cho các trung tâm dữ liệu alibaba. bản in trước arXiv arXiv:1909.10562, 2019.

Zhu, H., Akrout, M., Zheng, B., Pelegris, A., Phanishayee, A., Schroeder, B., và Pekhimenko, G. Tbd: Đo điểm chuẩn và phân tích đào tạo mạng lưới thần kinh sâu. bản in trước arXiv arXiv:1803.06905, 2018.