データローダーの概要: 関連作業

に The Serialization Publication4m2024/06/04

長すぎる; 読むには

この論文では、研究者はデータローダーを ML トレーニング改善の鍵として強調し、ライブラリの機能性、使いやすさ、パフォーマンスを比較しています。

著者:

（１）イアソン・オフェイディス、イェール大学電気工学部およびイェールネットワーク科学研究所、ニューヘブン {同等の貢献}

（２）ディエゴ・キエダンスキ、イェール大学電気工学部およびイェールネットワーク科学研究所、ニューヘブン {同等の貢献}

（3）Leandros TassiulasLevon Ghukasyan、Activeloop、米国カリフォルニア州マウンテンビュー、電気工学部およびイェール大学ネットワーク科学研究所、ニューヘブン。

リンク一覧

6. 関連研究

このセクションでは、ディープラーニングライブラリ、モデル、フレームワークをベンチマークするためのコミュニティでのいくつかの取り組みについて説明します。

ディープラーニングのツールと手法のベンチマークに向けた膨大な研究が存在します。MLPerf (Mattson et al., 2020) は、さまざまな AI タスクにわたるトレーニングと推論の両方を対象とする、最新の ML ワークロード向けの最も人気のある ML ベンチマークプロジェクトと言えるでしょう。著者らは、特定の精度レベルに到達するために必要なトレーニング時間を客観的な指標として使用しています。この指標は、計算リソースの増加を必要とするため、データローダーパラメーターのテストには適していません。DeepBench (Baidu-Research, 2020) は、ディープラーニングスタック内のカーネルレベルの操作に焦点を当てた Baidu Research のオープンソースプロジェクトです。ライブラリに実装され、基盤となるハードウェアで直接実行される個々の操作 (行列乗算など) のパフォーマンスをベンチマークします。同様に、AI Matrix (Zhang et al., 2019) は、マイクロベンチマークを使用して基本的な演算子をカバーし、完全に接続されたレイヤーやその他の一般的なレイヤーのパフォーマンスを測定し、合成ベンチマークを提供することで実際のワークロードの特性と一致します。

フレームワークの比較:このセクションには、PyTorch、TensorFlow などのさまざまなディープラーニングフレームワークのベンチマークと比較に向けた取り組みが含まれています。

Deep500 (Ben-Nun et al., 2019) では、著者らは DL トレーニングパフォーマンスを測定するためのモジュール式ソフトウェアフレームワークを提供しています。カスタマイズ可能ではありますが、ハイパーパラメータベンチマークがなく、新しいライブラリやワークフローを追加して実験するための使いやすい方法は提供されていません。AIBench (Gao et al., 2020) と DAWNBench (Coleman et al., 2019) はどちらもエンドツーエンドのベンチマークであり、後者はディープラーニングシステムのエンドツーエンドのパフォーマンスを測定する最初のマルチエントラントベンチマークコンペティションです。MLPerf と同様に、ワークフローで代替のロードライブラリの効果を調べているものはありません。(Wu et al., 2019) では、著者らはさまざまな並列コンピューティングライブラリとバッチサイズの CPU とメモリの使用パターンと、それらが精度とトレーニング効率に与える影響の体系的な分析を示しています。この分析は私たちの研究に近いものです。ただし、新しいライブラリを操作したりベンチマークしたりするためのオープンソースリソースは提供されません。

(Shi et al., 2016) では、著者らはさまざまなニューラルネットワーク (例: 全結合型、畳み込み型、再帰型ニューラルネットワーク) のパフォーマンスに基づいてディープラーニングフレームワークを比較しています。dPRO (Hu et al., 2022) は、複数のフレームワークにわたる分散 DNN トレーニングのランタイムトレースを収集するプロファイラーを利用して、分散 (マルチ GPU) トレーニングベンチマークに焦点を当てています。DLBench (HKBU の Heterogeneous Computing Lab、2017) は、Caffe、Tensorflow、MXNet などのさまざまなディープラーニングツールを測定するためのベンチマークフレームワークです。(Liu et al., 2018) では、著者らは各フレームワークのデフォルト構成がモデルのパフォーマンス (時間と精度) に与える影響を調査し、データセット固有の特性を持つ DNN パラメーターとハイパーパラメーターの複雑な相互作用を示しています。ただし、実験には各フレームワークのデフォルト構成のみが含まれ、デフォルト以外の設定の分析はありません。 (Wu et al., 2018) では、著者らはフレームワークのデフォルト設定をテストし、各データセットに最適なものを見つけようとしています。また、データ読み込みプロセスも調べていますが、サードパーティのライブラリは評価していません。この段落でこれまでに発表されたすべての研究は、私たちの研究と多くの類似点がありますが、1 つの重要な違いがあります。それは、PyTorch や、この論文で説明されているデータ読み込み用のライブラリのエコシステムに関する分析やベンチマークを行っていないことです。PyTorch は、導入部で述べたように、現在、産業界と学術界の両方で広く利用されている最も人気のあるディープラーニングフレームワークの 1 つです。

さまざまな DNN アーキテクチャとハードウェアの比較: ParaDNN (Wang ら、2020 年) は、基盤となるハードウェアの限界に挑戦するためにバッチサイズを変更するなど、ターゲットプラットフォームで実行するためのパラメーター化されたエンドツーエンドのモデルを生成しますが、専用プラットフォーム (TPU v2/v3) とデバイスアーキテクチャ (TPU、GPU、CPU) の比較に重点を置いています。ParaDNN に関連するのは (Bianco ら、2018 年) の研究で、これは、多様な計算リソースを備えたハードウェアシステムの分析に基づいて、実際の展開とアプリケーションにおけるリソースの制約に応じて適切なアーキテクチャを選択するための包括的なツールを提供します。ただし、これは、これらが実装されるディープラーニングフレームワークよりも、ディープラーニングモデルの設計に重点を置いています。 Fathom (Adolf et al., 2016) と TBD Suite (Zhu et al., 2018) はどちらも、さまざまなタスクと多様なワークロードにわたる完全なモデルアーキテクチャの評価に重点を置いていますが、これらには限界があり、最先端のトレーニングイノベーションのベンチマークが欠けています。

Other Devices: AI Benchmark (Ignatov 他、2018 年) は、おそらく最初のモバイル推論ベンチマークスイートです。ただし、その結果は Android スマートフォンのみに焦点を当てており、レイテンシのみを測定し、品質目標を明示的に指定していない要約スコアを提供しています。 (Hadidi 他、2019 年) は、実行時間、エネルギー消費、温度の観点から、DNN のエッジ内推論を調査しています。 (Tao 他、2018 年) は、分岐予測率やデータ再利用距離など、さまざまなハードウェア動作を持つ構成をカバーし、インテリジェンスプロセッサとハードウェアプラットフォームの精度、パフォーマンス、エネルギーを評価しています。これらの研究はどちらも、エッジデバイスやインテリジェンスプロセッサなどの異なる範囲のデバイスに焦点が当てられており、これはこの研究の範囲外です。