Ein Überblick über die Data-Loader-Landschaft: Fazit, Danksagungen und Referenzen

Linktabelle

• Zusammenfassung und Einleitung
• Datenlader
• Versuchsaufbau
• Numerische Ergebnisse
• Diskussion
• Ähnliche Projekte
• Schlussfolgerung, Danksagungen und Referenzen
• A. Numerische Ergebnisse, Fortsetzung

7. SCHLUSSFOLGERUNG

In diesem Artikel haben wir die aktuelle Landschaft der Pytorch-Bibliotheken untersucht, mit denen Anwender des maschinellen Lernens ihre Datensätze in ihre Modelle laden können. Diese Bibliotheken bieten eine breite Palette von Funktionen, von erhöhter Geschwindigkeit über das Erstellen von Ansichten nur einer Teilmenge der Daten bis hin zum Laden von Daten aus dem Remote-Speicher. Wir glauben, dass das Remote-Laden für all diese Funktionen am vielversprechendsten ist, da es die Entkopplung von Datenspeicherung und Modelltraining ermöglicht. Obwohl die Ladegeschwindigkeit über das öffentliche Internet natürlich langsamer ist als von einer lokalen Festplatte, zeigten einige Bibliotheken, wie z. B. Deep Lake, bemerkenswerte Ergebnisse (nur eine Zeitsteigerung von 13 %). Im Großen und Ganzen haben wir keinen erheblichen Leistungsunterschied zwischen den Bibliotheken festgestellt, mit Ausnahme von FFCV für mehrere GPUs und Deep Lake für das Laden über das Netzwerk, die bemerkenswert gut abschnitten. Wir haben jedoch festgestellt, dass die Dokumentation für die meisten dieser Bibliotheken nicht leicht verfügbar oder umfassend ist, was zu falsch konfigurierten Setups führen kann. Da bewährte Vorgehensweisen schwer zu finden sind, verwendet ein Programmierer möglicherweise das, was in einem anderen Datenlader gut funktioniert, was in der neuen Bibliothek nicht funktionieren muss. Zum jetzigen Zeitpunkt scheinen die Leistungsgewinne nicht groß genug, um die Migration bestehender Codebasen für kleine bis mittlere Aufträge zu rechtfertigen. Bei größeren Aufträgen könnten die Kosten durch den Wechsel zu einer der schnelleren Bibliotheken erheblich gesenkt werden. Schließlich glauben wir, dass ein innovatives Caching-System, das für Anwendungen des maschinellen Lernens entwickelt wurde, der letzte Baustein zur Realisierung der Vision eines wirklich entkoppelten Datensatzmodellsystems sein könnte. Jeder derartige Ansatz müsste auf vorhandenem Wissen über Datensatzzusammenfassung und aktives Lernen aufbauen.

DANKSAGUNG

Die Autoren möchten dem Activeloop-Team für seine Unterstützung und Einblicke während der Entwicklung dieses Projekts danken. Die Autoren möchten sich außerdem bei Tryolabs und Activeloop für ihre Ressourcen zur Durchführung einiger der Experimente bedanken.

VERWEISE

Abadi, M., Agarwal, A., Barham, P., Brevdo, E., Chen, Z., Citro, C., Corrado, GS, Davis, A., Dean, J., Devin, M., Ghemawat, S., Goodfellow, I., Harp, A., Irving, G., Isard, M., Jia, Y., Jozefowicz, R., Kaiser, L., Kudlur, M., Levenberg, J., Mane, D., Monga, R., Moore, S., Murray, D., ´ Olah, C., Schuster, M., Shlens, J., Steiner, B., Sutskever, I., Talwar, K., Tucker, P., Vanhoucke, V., Vasudevan, V., Viegas, F., Vinyals, O., Warden, P., Wattenberg, M., ´ Wicke, M., Yu, Y., und Zheng, X. TensorFlow: Großskaliges maschinelles Lernen auf heterogenen Systemen, 2015. URL https://www.tensorflow.org/. Software verfügbar unter tensorflow.org.

Adolf, R., Rama, S., Reagen, B., Wei, G.-Y. und Brooks, D. Fathom: Referenz-Workloads für moderne Deep-Learning-Methoden. In 2016 IEEE International Symposium on Workload Characterization (IISWC), S. 1–10. IEEE, 2016.

Baidu-Research. DeepBench, 2020. URL https://github.com/baidu-research/DeepBench.

Ben-Nun, T., Besta, M., Huber, S., Ziogas, AN, Peter, D. und Hoefler, T. Eine modulare Benchmarking-Infrastruktur für hochleistungsfähiges und reproduzierbares Deep Learning. Im 2019 IEEE International Parallel and Distributed Processing Symposium (IPDPS), S. 66–77. IEEE, 2019.

Bianco, S., Cadene, R., Celona, L. und Napoletano, P. Benchmark-Analyse repräsentativer Architekturen tiefer neuronaler Netzwerke. IEEE-Zugang, 6:64270–64277, 2018

Buslaev, A., Iglovikov, VI, Khvedchenya, E., Parinov, A., Druzhinin, M. und Kalinin, AA Albumentationen: schnelle und flexible Bilderweiterungen. Information, 11(2): 125, 2020.

Coleman, C., Kang, D., Narayanan, D., Nardi, L., Zhao, T., Zhang, J., Bailis, P., Olukotun, K., Re, C. und Zaharia, ´ M. Analyse von Dawnbench, einem Time-to-Accuracy-Leistungsbenchmark für maschinelles Lernen. ACM SIGOPS Operating Systems Review, 53(1):14–25, 2019.

Gao, W., Tang, F., Zhan, J., Lan, C., Luo, C., Wang, L., Dai, J., Cao, Z., Xiong, X., Jiang, Z., et al. Aibench: Eine agile domänenspezifische Benchmarking-Methodik und eine KI-Benchmark-Suite. arXiv-Vorabdruck arXiv:2002.07162, 2020.

Hadidi, R., Cao, J., Xie, Y., Asgari, B., Krishna, T. und Kim, H. Charakterisierung des Einsatzes tiefer neuronaler Netzwerke auf kommerziellen Edge-Geräten. Im 2019 IEEE International Symposium on Workload Characterization (IISWC), S. 35–48. IEEE, 2019.

Hambardzumyan, S., Tuli, A., Ghukasyan, L., Rahman, F., Topchyan, H., Isayan, D., Harutyunyan, M., Hakobyan, T., Stranic, I. und Buniatyan, D. Deep Lake: ein Lakehouse für Deep Learning, 2022. URL https://arxiv.org/ abs/2209.10785.

Heterogeneous Computing Lab an der HKBU, D. DLBench, 2017. URL https://github.com/hclhkbu/ dlbench.

Hinton, G., Srivastava, N. und Swersky, K. Neuronale Netzwerke für maschinelles Lernen, Vorlesung 6a, Überblick über Mini-Batch-Gradientenabstieg. Zitiert am, 14(8):2, 2012.

Hu, H., Jiang, C., Zhong, Y., Peng, Y., Wu, C., Zhu, Y., Lin, H. und Guo, C. dpro: Ein generisches Toolkit zur Leistungsdiagnose und -optimierung zur Beschleunigung des verteilten DNN-Trainings. Proceedings of Machine Learning and Systems, 4:623–637, 2022.

Ignatov, A., Timofte, R., Chou, W., Wang, K., Wu, M., Hartley, T. und Van Gool, L. Ai-Benchmark: Ausführen tiefer neuronaler Netzwerke auf Android-Smartphones. In Proceedings der Workshops der European Conference on Computer Vision (ECCV), S. 0–0, 2018.

Krizhevsky, A., Hinton, G., et al. Lernen mehrerer Merkmalsebenen aus winzigen Bildern. 2009.

Kumar, AV und Sivathanu, M. Quiver: Ein informierter Speichercache für Deep Learning. In 18. USENIX-Konferenz zu Datei- und Speichertechnologien (FAST 20), S. 283–296, Santa Clara, CA, Februar 2020. USENIX Association. ISBN 978-1-939133-12-0. URL https://www.usenix.org/conference/ fast20/presentation/kumar.

Leclerc, G., Ilyas, A., Engstrom, L., Park, SM, Salman, H. und Madry, A. ffcv. https://github.com/ libffcv/ffcv/, 2022. Commit xxxxxxx.

Li, S., Zhao, Y., Varma, R., Salpekar, O., Noordhuis, P., Li, T., Paszke, A., Smith, J., Vaughan, B., Damania, P., et al. Pytorch verteilt: Erfahrungen mit der Beschleunigung des parallelen Datentrainings. arXiv-Vorabdruck arXiv:2006.15704, 2020.

Lin, T.-Y., Maire, M., Belongie, S., Hays, J., Perona, P., Ramanan, D., Dollar, P. und Zitnick, CL Microsoft coco: ´ Gemeinsame Objekte im Kontext. In European conference on computer vision, S. 740–755. Springer, 2014.

Liu, L., Wu, Y., Wei, W., Cao, W., Sahin, S. und Zhang, Q. Benchmarking von Deep-Learning-Frameworks: Designüberlegungen, Metriken und mehr. In 2018 IEEE 38. Internationale Konferenz für verteilte Computersysteme (ICDCS), S. 1258–1269. IEEE, 2018.

Mattson, P., Cheng, C., Diamos, G., Coleman, C., Micikevicius, P., Patterson, D., Tang, H., Wei, G.-Y., Bailis, P., Bittorf, V., et al. Mlperf Trainingsbenchmark. Proceedings of Machine Learning and Systems, 2:336–349, 2020.

Mohan, J., Phanishayee, A., Raniwala, A. und Chidambaram, V. Analysieren und Mindern von Datenstaus beim DNN-Training, 2020. URL https://arxiv.org/abs/ 2007.06775.

Paszke, A., Gross, S., Massa, F., Lerer, A., Bradbury, J., Chanan, G., Killeen, T., Lin, Z., Gimelshein, N., Antiga, L., et al. Pytorch: Eine imperative Deep-Learning-Bibliothek mit hoher Leistung. Fortschritte bei neuronalen Informationsverarbeitungssystemen, 32, 2019.

PyTorch-Kernteam. PyTorch: PyTorch-Dokumente. PyTorch.

Shi, S., Wang, Q., Xu, P. und Chu, X. Benchmarking modernster Deep-Learning-Softwaretools. In 2016 7. Internationale Konferenz zu Cloud Computing und Big Data (CCBD), S. 99–104. IEEE, 2016.

Tao, J.-H., Du, Z.-D., Guo, Q., Lan, H.-Y., Zhang, L., Zhou, S.-Y., Xu, L.-J., Liu, C., Liu, H.-F., Tang, S., et al. Benchip: Benchmarking intelligenter Prozessoren. Journal of Computer Science and Technology, 33(1):1–23, 2018.

Team, AD Hub: Ein Datensatzformat für KI. Eine einfache API zum Erstellen, Speichern, gemeinsamen Bearbeiten von KI-Datensätzen beliebiger Größe und zum Streamen in großem Maßstab an ML-Frameworks. GitHub. Hinweis: https://github.com/activeloopai/Hub, 2022a.

Team, SD Squirrel: Eine Python-Bibliothek, die es ML-Teams ermöglicht, Daten auf kollaborative, flexible und effiziente Weise zu teilen, zu laden und zu transformieren. GitHub. Hinweis: https://github.com/merantix-momentum/squirrelcore, 2022b. doi: 10.5281/zenodo.6418280.

TorchData. Torchdata: Eine Prototypbibliothek mit gängigen modularen Datenladeprimitiven zum einfachen Erstellen flexibler und leistungsfähiger Datenpipelines. https://github.com/pytorch/data, 2021.

Wang, Y., Wei, G.-Y. und Brooks, D. Eine systematische Methodik zur Analyse von Deep-Learning-Hardware- und Softwareplattformen. Proceedings of Machine Learning and Systems, 2:30–43, 2020.

Webdataset. Webdataset-Format. https://github.com/webdataset/webdataset, 2013.

Wu, Y., Cao, W., Sahin, S. und Liu, L. Experimentelle Charakterisierungen und Analysen von Deep-Learning-Frameworks. In 2018 IEEE International Conference on Big Data (Big Data), S. 372–377. IEEE, 2018.

Wu, Y., Liu, L., Pu, C., Cao, W., Sahin, S., Wei, W. und Zhang, Q. Eine vergleichende Messstudie zum Thema Deep Learning als Service-Framework. IEEE Transactions on Services Computing, 2019.

Zhang, W., Wei, W., Xu, L., Jin, L. und Li, C. KI-Matrix: Ein Deep-Learning-Benchmark für Alibaba-Rechenzentren. ArXiv-Vorabdruck ArXiv:1909.10562, 2019.

Zhu, H., Akrout, M., Zheng, B., Pelegris, A., Phanishayee, A., Schroeder, B. und Pekhimenko, G. Tbd: Benchmarking und Analyse des Trainings tiefer neuronaler Netzwerke. arXiv-Vorabdruck arXiv:1803.06905, 2018.