Una descripción general del panorama del cargador de datos: conclusión, agradecimientos y referencias

Tabla de enlaces

• Resumen e introducción
• Cargadores de datos
• Configuración experimental
• Los resultados numéricos
• Discusión
• Trabajo relacionado
• Conclusión, agradecimientos y referencias
• A. Resultados numéricos (cont.)

7. CONCLUSIONES

En este artículo, exploramos el panorama actual de las bibliotecas de Pytorch que permiten a los profesionales del aprendizaje automático cargar sus conjuntos de datos en sus modelos. Estas bibliotecas ofrecen una amplia gama de funciones, desde mayor velocidad, creación de vistas de solo un subconjunto de datos y carga de datos desde un almacenamiento remoto. Creemos que la carga remota es la más prometedora para todas estas funciones, ya que permite desacoplar el almacenamiento de datos y el entrenamiento de modelos. Aunque la velocidad de carga en la Internet pública es naturalmente más lenta que la de un disco local, algunas bibliotecas, como Deep Lake, mostraron resultados notables (solo un aumento del 13% en el tiempo). En su mayor parte, no encontramos una diferencia considerable en el rendimiento entre las bibliotecas, excepto FFCV para múltiples GPU y Deep Lake para carga en red, que funcionó notablemente bien. Sin embargo, notamos que la documentación de la mayoría de estas bibliotecas no está disponible ni es completa, lo que podría resultar en configuraciones mal configuradas. Dado que las buenas prácticas son difíciles de encontrar, un programador podría usar lo que funciona bien en un cargador de datos diferente, que no necesita funcionar en la nueva biblioteca. En este punto, las ganancias de rendimiento no parecen lo suficientemente grandes como para justificar la migración de las bases de código existentes para trabajos pequeños y medianos. Para trabajos más grandes, podría haber importantes reducciones de costos al cambiar a una de las bibliotecas más rápidas. Finalmente, creemos que un sistema de almacenamiento en caché innovador diseñado para aplicaciones de aprendizaje automático podría ser la pieza final para hacer realidad la visión de un sistema modelo de conjunto de datos verdaderamente desacoplado. Cualquier enfoque de este tipo tendría que desarrollar el conocimiento existente sobre el resumen de conjuntos de datos y el aprendizaje activo.

AGRADECIMIENTOS

Los autores desean agradecer al equipo de Activeloop por su apoyo y conocimientos durante el desarrollo de este proyecto. Los autores también desean agradecer a Tryolabs y Activeloop por sus recursos para ejecutar algunos de los experimentos.

REFERENCIAS

Abadi, M., Agarwal, A., Barham, P., Brevdo, E., Chen, Z., Citro, C., Corrado, GS, Davis, A., Dean, J., Devin, M., Ghemawat , S., Goodfellow, I., Harp, A., Irving, G., Isard, M., Jia, Y., Jozefowicz, R., Kaiser, L., Kudlur, M., Levenberg, J., Mane , D., Monga, R., Moore, S., Murray, D., ´ Olah, C., Schuster, M., Shlens, J., Steiner, B., Sutskever, I., Talwar, K., Tucker, P., Vanhoucke, V., Vasudevan, V., Viegas, F., Vinyals, O., Warden, P., Wattenberg, M., 'Wicke, M., Yu, Y. y Zheng, X. TensorFlow: aprendizaje automático a gran escala en sistemas heterogéneos, 2015. URL https://www.tensorflow.org/. Software disponible en tensorflow.org.

Adolf, R., Rama, S., Reagen, B., Wei, G.-Y. y Brooks, D. Fathom: cargas de trabajo de referencia para métodos modernos de aprendizaje profundo. En el Simposio internacional IEEE de 2016 sobre caracterización de cargas de trabajo (IISWC), págs. IEEE, 2016.

Baidu-Research. DeepBench, 2020. URL https://github.com/baidu-research/DeepBench.

Ben-Nun, T., Besta, M., Huber, S., Ziogas, AN, Peter, D. y Hoefler, T. Una infraestructura de evaluación comparativa modular para un aprendizaje profundo reproducible y de alto rendimiento. En el Simposio internacional de procesamiento distribuido y paralelo del IEEE de 2019 (IPDPS), págs. IEEE, 2019.

Bianco, S., Cadene, R., Celona, L. y Napoletano, P. Análisis de referencia de arquitecturas representativas de redes neuronales profundas. Acceso IEEE, 6:64270–64277, 2018

Buslaev, A., Iglovikov, VI, Khvedchenya, E., Parinov, A., Druzhinin, M. y Kalinin, AA Albumentaciones: aumentos de imágenes rápidos y flexibles. Información, 11(2): 125, 2020.

Coleman, C., Kang, D., Narayanan, D., Nardi, L., Zhao, T., Zhang, J., Bailis, P., Olukotun, K., Re, C. y Zaharia, ´ M Análisis de Dawnbench, un punto de referencia de rendimiento del aprendizaje automático con tiempo de precisión. Revisión de los sistemas operativos ACM SIGOPS, 53(1):14–25, 2019.

Gao, W., Tang, F., Zhan, J., Lan, C., Luo, C., Wang, L., Dai, J., Cao, Z., Xiong, X., Jiang, Z., et al. Aibench: una metodología ágil de evaluación comparativa específica de un dominio y un conjunto de pruebas comparativas de inteligencia artificial. Preimpresión de arXiv arXiv:2002.07162, 2020.

Hadidi, R., Cao, J., Xie, Y., Asgari, B., Krishna, T. y Kim, H. Caracterización del despliegue de redes neuronales profundas en dispositivos comerciales de borde. En el Simposio internacional IEEE sobre caracterización de cargas de trabajo (IISWC) de 2019, págs. IEEE, 2019.

Hambardzumyan, S., Tuli, A., Ghukasyan, L., Rahman, F., Topchyan, H., Isayan, D., Harutyunyan, M., Hakobyan, T., Stranic, I. y Buniatyan, D. Lago profundo: una casa en un lago para el aprendizaje profundo, 2022. URL https://arxiv.org/abs/2209.10785.

Laboratorio de Computación Heterogénea en HKBU, D. DLBench, 2017. URL https://github.com/hclhkbu/ dlbench.

Hinton, G., Srivastava, N. y Swersky, K. Redes neuronales para aprendizaje automático conferencia 6: descripción general del descenso de gradiente de mini lotes. Citado en, 14(8):2, 2012.

Hu, H., Jiang, C., Zhong, Y., Peng, Y., Wu, C., Zhu, Y., Lin, H. y Guo, C. dpro: un conjunto de herramientas genérico de optimización y diagnóstico de rendimiento para Acelerar el entrenamiento dnn distribuido. Actas de sistemas y aprendizaje automático, 4:623–637, 2022.

Ignatov, A., Timofte, R., Chou, W., Wang, K., Wu, M., Hartley, T. y Van Gool, L. Referencia de Ai: ejecución de redes neuronales profundas en teléfonos inteligentes Android. En Actas de los talleres de la Conferencia europea sobre visión por computadora (ECCV), págs. 0–0, 2018.

Krizhevsky, A., Hinton, G., et al. Aprender múltiples capas de características a partir de imágenes diminutas. 2009.

Kumar, AV y Sivathanu, M. Quiver: Un caché de almacenamiento informado para el aprendizaje profundo. En la 18.ª Conferencia USENIX sobre tecnologías de archivos y almacenamiento (FAST 20), págs. 283–296, Santa Clara, CA, febrero de 2020. Asociación USENIX. ISBN 978-1-939133-12-0. URL https://www.usenix.org/conference/fast20/presentation/kumar.

Leclerc, G., Ilyas, A., Engstrom, L., Park, SM, Salman, H. y Madry, A. ffcv. https://github.com/libffcv/ffcv/, 2022. compromiso xxxxxxx.

Li, S., Zhao, Y., Varma, R., Salpekar, O., Noordhuis, P., Li, T., Paszke, A., Smith, J., Vaughan, B., Damania, P., et al. Pytorch distribuido: Experiencias sobre la aceleración del entrenamiento paralelo de datos. Preimpresión de arXiv arXiv:2006.15704, 2020.

Lin, T.-Y., Maire, M., Belongie, S., Hays, J., Perona, P., Ramanan, D., Dollar, P. y Zitnick, CL Microsoft coco: ´ Objetos comunes en contexto . En conferencia europea sobre visión por computadora, págs. 740–755. Saltador, 2014.

Liu, L., Wu, Y., Wei, W., Cao, W., Sahin, S. y Zhang, Q. Evaluación comparativa de marcos de aprendizaje profundo: consideraciones de diseño, métricas y más. En 2018, 38.a Conferencia Internacional del IEEE sobre Sistemas de Computación Distribuida (ICDCS), págs. IEEE, 2018.

Mattson, P., Cheng, C., Diamos, G., Coleman, C., Micikevicius, P., Patterson, D., Tang, H., Wei, G.-Y., Bailis, P., Bittorf, V., et al. Punto de referencia de entrenamiento Mlperf. Actas de sistemas y aprendizaje automático, 2:336–349, 2020.

Mohan, J., Phanishayee, A., Raniwala, A. y Chidambaram, V. Análisis y mitigación de bloqueos de datos en el entrenamiento de dnn, 2020. URL https://arxiv.org/abs/ 2007.06775.

Paszke, A., Gross, S., Massa, F., Lerer, A., Bradbury, J., Chanan, G., Killeen, T., Lin, Z., Gimelshein, N., Antiga, L., et al. Pytorch: una biblioteca de aprendizaje profundo de alto rendimiento y estilo imperativo. Avances en los sistemas de procesamiento de información neuronal, 32, 2019.

Equipo central de PyTorch. PyTorch: Documentos de PyTorch. PyTorch.

Shi, S., Wang, Q., Xu, P. y Chu, X. Evaluación comparativa de herramientas de software de aprendizaje profundo de última generación. En 2016, Séptima Conferencia Internacional sobre Computación en la Nube y Big Data (CCBD), págs. IEEE, 2016.

Tao, J.-H., Du, Z.-D., Guo, Q., Lan, H.-Y., Zhang, L., Zhou, S.-Y., Xu, L.-J., Liu, C., Liu, H.-F., Tang, S., et al. Benchip: Evaluación comparativa de procesadores de inteligencia. Revista de informática y tecnología, 33(1):1–23, 2018.

Equipo, AD Hub: un formato de conjunto de datos para IA. una API simple para crear, almacenar y colaborar en conjuntos de datos de IA de cualquier tamaño y transmitirlos a marcos ml a escala. GitHub. Nota: https://github.com/activeloopai/Hub, 2022a.

Team, SD Squirrel: una biblioteca de Python que permite a los equipos ml compartir, cargar y transformar datos de una manera colaborativa, flexible y eficiente. GitHub. Nota: https://github.com/merantix-momentum/squirrelcore, 2022b. doi: 10.5281/zenodo.6418280.

Datos de antorcha. Torchdata: una biblioteca prototipo de primitivas de carga de datos modulares comunes para construir fácilmente canales de datos flexibles y de alto rendimiento. https://github.com/pytorch/data, 2021.

Wang, Y., Wei, G.-Y. y Brooks, D. Una metodología sistemática para el análisis de plataformas de hardware y software de aprendizaje profundo. Actas de sistemas y aprendizaje automático, 2:30–43, 2020.

Conjunto de datos web. Formato de conjunto de datos web. https://github. es/webdataset/webdataset, 2013.

Wu, Y., Cao, W., Sahin, S. y Liu, L. Caracterizaciones experimentales y análisis de marcos de aprendizaje profundo. En la Conferencia Internacional IEEE sobre Big Data (Big Data) de 2018, págs. IEEE, 2018.

Wu, Y., Liu, L., Pu, C., Cao, W., Sahin, S., Wei, W. y Zhang, Q. Un estudio de medición comparativa del aprendizaje profundo como marco de servicio. Transacciones IEEE sobre informática de servicios, 2019.

Zhang, W., Wei, W., Xu, L., Jin, L. y Li, C. Ai Matrix: un punto de referencia de aprendizaje profundo para los centros de datos de Alibaba. Preimpresión de arXiv arXiv:1909.10562, 2019.

Zhu, H., Akrout, M., Zheng, B., Pelegris, A., Phanishayee, A., Schroeder, B. y Pekhimenko, G. Tbd: evaluación comparativa y análisis del entrenamiento de redes neuronales profundas. Preimpresión de arXiv arXiv:1803.06905, 2018.