データローダーの概要: 結論、謝辞、参考文献

リンク一覧

• 概要と序文
• データローダー
• 実験のセットアップ
• 数値結果
• 議論
• 関連作業
• 結論、謝辞、参考文献
• A. 数値結果の続き

7. 結論

この論文では、機械学習の実践者がデータセットをモデルにロードできるようにする Pytorch ライブラリの現状について調査しました。これらのライブラリは、速度の向上、データのサブセットのみのビューの作成、リモート ストレージからのデータのロードなど、さまざまな機能を提供します。リモート ロードは、データ ストレージとモデル トレーニングの分離を可能にするため、これらすべての機能の中で最も有望であると考えています。パブリック インターネット経由のロード速度は、ローカル ディスクからのロード速度よりも当然遅くなりますが、Deep Lake などの一部のライブラリでは、驚くべき結果 (わずか 13% の時間増加) が見られました。ほとんどの場合、マルチ GPU 用の FFCV とネットワーク ロード用の Deep Lake を除いて、ライブラリ間でパフォーマンスに大きな違いは見られませんでした。ただし、これらのライブラリのほとんどのドキュメントはすぐに入手できないか、包括的ではないため、設定が誤っている可能性があることに気付きました。優れたプラクティスを見つけるのは難しいため、プログラマーは、新しいライブラリでは機能しない別のデータローダーでうまく機能するものを使用する可能性があります。現時点では、小規模から中規模のジョブでは、既存のコード ベースの移行を正当化するほどパフォーマンスの向上は見られません。大規模なジョブでは、より高速なライブラリの 1 つに切り替えることで、コストを大幅に削減できる可能性があります。最後に、機械学習アプリケーション用に設計された革新的なキャッシュ システムが、真に分離されたデータセット モデル システムのビジョンを実現するための最後のピースになると考えています。このようなアプローチでは、データセットの要約とアクティブ ラーニングに関する既存の知識を構築する必要があります。

謝辞

著者らは、このプロジェクトの開発中にサポートと洞察を提供してくれた Activeloop チームに感謝の意を表します。また、いくつかの実験を実行するためのリソースを提供してくれた Tryolabs と Activeloop にも感謝の意を表します。

参考文献

アバディ、M.、アガルワル、A.、バーハム、P.、ブレブド、E.、チェン、Z.、シトロ、C.、コラード、GS、デイビス、A.、ディーン、J.、デビン、M.、ゲマワット、S.、グッドフェロー、I.、ハープ、A.、アーヴィング、G.、イサード、M.、ジア、Y.、ジョゼフォヴィッツ、R.、カイザー、L.、クドゥル、M.、レーベンバーグ、J.、マネ、D.、モンガ、R.、ムーア、S.、マレー、D.、´ オラ、C.、シュスター、M.、シュレンズ、J.、シュタイナー、B.、スツケヴァー、I.、タルワール、K.、タッカー、P.、ヴァンホウケ、V.、ヴァスデヴァン、V.、ヴィエガス、F.、ヴィニャルズ、O.、ウォーデン、P.、ワッテンバーグ、 M.、´ Wicke、M.、Yu、Y.、および Zheng、X。TensorFlow: 異種システムでの大規模機械学習、2015。URL https://www.tensorflow.org/。ソフトウェアは tensorflow.org から入手できます。

Adolf, R.、Rama, S.、Reagen, B.、Wei, G.-Y.、および Brooks, D. Fathom: 最新のディープラーニング手法の参照ワークロード。2016 IEEE 国際ワークロード特性評価シンポジウム (IISWC)、pp. 1–10。IEEE、2016。

Baidu-Research. DeepBench、2020年。URL https://github.com/baidu-research/DeepBench.

Ben-Nun, T.、Besta, M.、Huber, S.、Ziogas, AN、Peter, D.、および Hoefler, T. 高性能で再現可能なディープラーニングのためのモジュール式ベンチマーク インフラストラクチャ。2019 IEEE 国際並列分散処理シンポジウム (IPDPS)、pp. 66–77。IEEE、2019。

Bianco, S.、Cadene, R.、Celona, L.、およびNapoletano, P. 代表的なディープニューラルネットワークアーキテクチャのベンチマーク分析。IEEE access、6:64270–64277、2018

Buslaev, A., Iglovikov, VI, Khvedchenya, E., Parinov, A., Druzhinin, M., Kalinin, AA Albumentations: 高速で柔軟な画像拡張。情報、11(2): 125、2020年。

Coleman, C.、Kang, D.、Narayanan, D.、Nardi, L.、Zhao, T.、Zhang, J.、Bailis, P.、Olukotun, K.、Re, C.、およびZaharia, ´ M. 機械学習の精度測定に要する時間を測定するパフォーマンスベンチマーク「dawnbench」の分析。ACM SIGOPS Operating Systems Review、53(1):14–25、2019年。

Gao, W., Tang, F., Zhan, J., Lan, C., Luo, C., Wang, L., Dai, J., Cao, Z., Xiong, X., Jiang, Z., et al. Aibench: アジャイルなドメイン固有のベンチマーク手法と AI ベンチマーク スイート。arXiv プレプリント arXiv:2002.07162, 2020。

Hadidi, R.、Cao, J.、Xie, Y.、Asgari, B.、Krishna, T.、Kim, H.「商用エッジデバイスへのディープニューラルネットワークの展開の特性評価」2019 IEEE 国際ワークロード特性評価シンポジウム (IISWC)、pp. 35–48。IEEE、2019。

Hambardzumyan, S.、Tuli, A.、Ghukasyan, L.、Rahman, F.、Topchyan, H.、Isayan, D.、Harutyunyan, M.、Hakobyan, T.、Stranic, I.、および Buniatyan, D. Deep Lake: ディープラーニングのためのレイクハウス、2022 年。URL https://arxiv.org/abs/2209.10785。

HKBU の異種コンピューティング ラボ、D. DLBench、2017。URL https://github.com/hclhkbu/ dlbench。

Hinton, G.、Srivastava, N.、およびSwersky, K. 機械学習のためのニューラルネットワーク講義6a ミニバッチ勾配降下法の概要。引用、14(8):2、2012。

Hu, H., Jiang, C., Zhong, Y., Peng, Y., Wu, C., Zhu, Y., Lin, H., Guo, C. dpro: 分散 DNN トレーニングを迅速化するための汎用パフォーマンス診断および最適化ツールキット。機械学習およびシステムの議事録、4:623–637、2022 年。

Ignatov, A.、Timofte, R.、Chou, W.、Wang, K.、Wu, M.、Hartley, T.、および Van Gool, L. Ai ベンチマーク: Android スマートフォンでのディープ ニューラル ネットワークの実行。欧州コンピューター ビジョン会議 (ECCV) ワークショップの議事録、pp. 0–0、2018。

Krizhevsky, A.、Hinton, G.、他「小さな画像から複数の特徴層を学習する」2009 年。

Kumar, AV および Sivathanu, M. Quiver: ディープラーニングのための情報に基づいたストレージ キャッシュ。第 18 回 USENIX ファイルおよびストレージ テクノロジ カンファレンス (FAST 20)、pp. 283–296、カリフォルニア州サンタクララ、2020 年 2 月。USENIX 協会。ISBN 978-1-939133-12-0。URL https://www.usenix.org/conference/ fast20/presentation/kumar。

Leclerc, G.、Ilyas, A.、Engstrom, L.、Park, SM、Salman, H.、および Madry, A. ffcv。https://github.com/libffcv/ffcv/、2022。コミット xxxxxxx。

Li, S.、Zhao, Y.、Varma, R.、Salpekar, O.、Noordhuis, P.、Li, T.、Paszke, A.、Smith, J.、Vaughan, B.、Damania, P.、et al. Pytorch 分散: データ並列トレーニングの高速化に関する経験。arXiv プレプリント arXiv:2006.15704、2020 年。

Lin, T.-Y.、Maire, M.、Belongie, S.、Hays, J.、Perona, P.、Ramanan, D.、Dollar, P.、および Zitnick, CL Microsoft coco: ´ コンテキスト内の共通オブジェクト。ヨーロッパ コンピュータ ビジョン会議、pp. 740–755。Springer、2014。

Liu, L., Wu, Y., Wei, W., Cao, W., Sahin, S., および Zhang, Q. ディープラーニング フレームワークのベンチマーク: 設計上の考慮事項、メトリックなど。2018 IEEE 第 38 回国際分散コンピューティング システム会議 (ICDCS)、pp. 1258–1269。IEEE、2018。

Mattson, P.、Cheng, C.、Diamos, G.、Coleman, C.、Micikevicius, P.、Patterson, D.、Tang, H.、Wei, G.-Y.、Bailis, P.、Bittorf, V.、et al. Mlperf トレーニング ベンチマーク。機械学習およびシステム論文集、2:336–349、2020 年。

Mohan, J.、Phanishayee, A.、Raniwala, A.、およびChidambaram, V. DNN トレーニングにおけるデータ ストールの分析と軽減、2020 年。URL https://arxiv.org/abs/ 2007.06775。

Paszke, A., Gross, S., Massa, F., Lerer, A., Bradbury, J., Chanan, G., Killeen, T., Lin, Z., Gimelshein, N., Antiga, L., et al. Pytorch: 命令型の高性能ディープラーニングライブラリ。ニューラル情報処理システムの進歩、32、2019 年。

PyTorch コア チーム。PyTorch: PyTorch ドキュメント。PyTorch。

Shi, S.、Wang, Q.、Xu, P.、およびChu, X. 最先端のディープラーニング ソフトウェア ツールのベンチマーク。2016 年第 7 回クラウド コンピューティングおよびビッグ データに関する国際会議 (CCBD)、pp. 99–104。IEEE、2016。

Tao, J.-H., Du, Z.-D., Guo, Q., Lan, H.-Y., Zhang, L., Zhou, S.-Y., Xu, L.-J., Liu, C., Liu, H.-F., Tang, S., et al. Benchip: 知能プロセッサのベンチマーク。Journal of Computer Science and Technology, 33(1):1–23, 2018.

AD Hub チーム: AI 用のデータセット形式。あらゆるサイズの AI データセットを作成、保存、共同作業し、大規模に ML フレームワークにストリーミングするためのシンプルな API。GitHub。注: https://github.com/activeloopai/Hub、2022a。

Team、SD Squirrel: ML チームが協力的かつ柔軟で効率的な方法でデータを共有、ロード、変換できるようにする Python ライブラリ。GitHub。注: https://github.com/merantix-momentum/squirrelcore、2022b。doi: 10.5281/zenodo.6418280。

TorchData。Torchdata: 柔軟でパフォーマンスの高いデータ パイプラインを簡単に構築するための、一般的なモジュール型データ読み込みプリミティブのプロトタイプ ライブラリ。https: //github.com/pytorch/data、2021 年。

Wang, Y.、Wei, G.-Y.、およびBrooks, D. ディープラーニングハードウェアおよびソフトウェアプラットフォームの分析のための体系的な方法論。機械学習およびシステムの議事録、2:30–43、2020年。

Webdataset。Webdataset 形式。https://github.com/webdataset/webdataset、2013 年。

Wu, Y., Cao, W., Sahin, S., Liu, L. ディープラーニングフレームワークの実験的特性評価と分析。2018 IEEE 国際ビッグデータ会議 (ビッグデータ)、pp. 372–377。IEEE、2018。

Wu, Y.、Liu, L.、Pu, C.、Cao, W.、Sahin, S.、Wei, W.、および Zhang, Q. サービス フレームワークとしてのディープラーニングの比較測定研究。IEEE Transactions on Services Computing、2019 年。

Zhang, W.、Wei, W.、Xu, L.、Jin, L.、およびLi, C. Aiマトリックス：Alibabaデータセンターのディープラーニングベンチマーク。arXivプレプリントarXiv：1909.10562、2019。

Zhu, H., Akrout, M., Zheng, B., Pelegris, A., Phanishayee, A., Schroeder, B., および Pekhimenko, G. Tbd: ディープニューラルネットワークトレーニングのベンチマークと分析。arXiv プレプリント arXiv:1803.06905, 2018。