Autores:  (1) Iason Ofeidis, Departamento de Ingeniería Eléctrica e Instituto de Ciencias de Redes de Yale, Universidad de Yale, New Haven {Contribución igual};  (2) Diego Kiedanski, Departamento de Ingeniería Eléctrica e Instituto de Ciencias de Redes de Yale, Universidad de Yale, New Haven {Contribución igual};  (3) Leandros Tassiulas Levon Ghukasyan, Activeloop, Mountain View, CA, EE. UU., Departamento de Ingeniería Eléctrica e Instituto de Ciencias de Redes de Yale, Universidad de Yale, New Haven.  Tabla de enlaces   Resumen e introducción   Cargadores de datos   Configuración experimental   Los resultados numéricos   Discusión   Trabajo relacionado   Conclusión, agradecimientos y referencias   A. Resultados numéricos (cont.)  7. CONCLUSIONES  En este artículo, exploramos el panorama actual de las bibliotecas de Pytorch que permiten a los profesionales del aprendizaje automático cargar sus conjuntos de datos en sus modelos. Estas bibliotecas ofrecen una amplia gama de funciones, desde mayor velocidad, creación de vistas de solo un subconjunto de datos y carga de datos desde un almacenamiento remoto. Creemos que la carga remota es la más prometedora para todas estas funciones, ya que permite desacoplar el almacenamiento de datos y el entrenamiento de modelos. Aunque la velocidad de carga en la Internet pública es naturalmente más lenta que la de un disco local, algunas bibliotecas, como Deep Lake, mostraron resultados notables (solo un aumento del 13% en el tiempo). En su mayor parte, no encontramos una diferencia considerable en el rendimiento entre las bibliotecas, excepto FFCV para múltiples GPU y Deep Lake para carga en red, que funcionó notablemente bien. Sin embargo, notamos que la documentación de la mayoría de estas bibliotecas no está disponible ni es completa, lo que podría resultar en configuraciones mal configuradas. Dado que las buenas prácticas son difíciles de encontrar, un programador podría usar lo que funciona bien en un cargador de datos diferente, que no necesita funcionar en la nueva biblioteca. En este punto, las ganancias de rendimiento no parecen lo suficientemente grandes como para justificar la migración de las bases de código existentes para trabajos pequeños y medianos. Para trabajos más grandes, podría haber importantes reducciones de costos al cambiar a una de las bibliotecas más rápidas. Finalmente, creemos que un sistema de almacenamiento en caché innovador diseñado para aplicaciones de aprendizaje automático podría ser la pieza final para hacer realidad la visión de un sistema modelo de conjunto de datos verdaderamente desacoplado. Cualquier enfoque de este tipo tendría que desarrollar el conocimiento existente sobre el resumen de conjuntos de datos y el aprendizaje activo.  AGRADECIMIENTOS  Los autores desean agradecer al equipo de Activeloop por su apoyo y conocimientos durante el desarrollo de este proyecto. Los autores también desean agradecer a Tryolabs y Activeloop por sus recursos para ejecutar algunos de los experimentos.  REFERENCIAS  Abadi, M., Agarwal, A., Barham, P., Brevdo, E., Chen, Z., Citro, C., Corrado, GS, Davis, A., Dean, J., Devin, M., Ghemawat , S., Goodfellow, I., Harp, A., Irving, G., Isard, M., Jia, Y., Jozefowicz, R., Kaiser, L., Kudlur, M., Levenberg, J., Mane , D., Monga, R., Moore, S., Murray, D., ´ Olah, C., Schuster, M., Shlens, J., Steiner, B., Sutskever, I., Talwar, K., Tucker, P., Vanhoucke, V., Vasudevan, V., Viegas, F., Vinyals, O., Warden, P., Wattenberg, M., 'Wicke, M., Yu, Y. y Zheng, X. TensorFlow: aprendizaje automático a gran escala en sistemas heterogéneos, 2015. URL https://www.tensorflow.org/. Software disponible en tensorflow.org.  Adolf, R., Rama, S., Reagen, B., Wei, G.-Y. y Brooks, D. Fathom: cargas de trabajo de referencia para métodos modernos de aprendizaje profundo. En el Simposio internacional IEEE de 2016 sobre caracterización de cargas de trabajo (IISWC), págs. IEEE, 2016.  Baidu-Research. DeepBench, 2020. URL https://github.com/baidu-research/DeepBench.  Ben-Nun, T., Besta, M., Huber, S., Ziogas, AN, Peter, D. y Hoefler, T. Una infraestructura de evaluación comparativa modular para un aprendizaje profundo reproducible y de alto rendimiento. En el Simposio internacional de procesamiento distribuido y paralelo del IEEE de 2019 (IPDPS), págs. IEEE, 2019.  Bianco, S., Cadene, R., Celona, L. y Napoletano, P. Análisis de referencia de arquitecturas representativas de redes neuronales profundas. Acceso IEEE, 6:64270–64277, 2018  Buslaev, A., Iglovikov, VI, Khvedchenya, E., Parinov, A., Druzhinin, M. y Kalinin, AA Albumentaciones: aumentos de imágenes rápidos y flexibles. Información, 11(2): 125, 2020.  Coleman, C., Kang, D., Narayanan, D., Nardi, L., Zhao, T., Zhang, J., Bailis, P., Olukotun, K., Re, C. y Zaharia, ´ M Análisis de Dawnbench, un punto de referencia de rendimiento del aprendizaje automático con tiempo de precisión. Revisión de los sistemas operativos ACM SIGOPS, 53(1):14–25, 2019.  Gao, W., Tang, F., Zhan, J., Lan, C., Luo, C., Wang, L., Dai, J., Cao, Z., Xiong, X., Jiang, Z., et al. Aibench: una metodología ágil de evaluación comparativa específica de un dominio y un conjunto de pruebas comparativas de inteligencia artificial. Preimpresión de arXiv arXiv:2002.07162, 2020.  Hadidi, R., Cao, J., Xie, Y., Asgari, B., Krishna, T. y Kim, H. Caracterización del despliegue de redes neuronales profundas en dispositivos comerciales de borde. En el Simposio internacional IEEE sobre caracterización de cargas de trabajo (IISWC) de 2019, págs. IEEE, 2019.  Hambardzumyan, S., Tuli, A., Ghukasyan, L., Rahman, F., Topchyan, H., Isayan, D., Harutyunyan, M., Hakobyan, T., Stranic, I. y Buniatyan, D. Lago profundo: una casa en un lago para el aprendizaje profundo, 2022. URL https://arxiv.org/abs/2209.10785.  Laboratorio de Computación Heterogénea en HKBU, D. DLBench, 2017. URL https://github.com/hclhkbu/ dlbench.  Hinton, G., Srivastava, N. y Swersky, K. Redes neuronales para aprendizaje automático conferencia 6: descripción general del descenso de gradiente de mini lotes. Citado en, 14(8):2, 2012.  Hu, H., Jiang, C., Zhong, Y., Peng, Y., Wu, C., Zhu, Y., Lin, H. y Guo, C. dpro: un conjunto de herramientas genérico de optimización y diagnóstico de rendimiento para Acelerar el entrenamiento dnn distribuido. Actas de sistemas y aprendizaje automático, 4:623–637, 2022.  Ignatov, A., Timofte, R., Chou, W., Wang, K., Wu, M., Hartley, T. y Van Gool, L. Referencia de Ai: ejecución de redes neuronales profundas en teléfonos inteligentes Android. En Actas de los talleres de la Conferencia europea sobre visión por computadora (ECCV), págs. 0–0, 2018.  Krizhevsky, A., Hinton, G., et al. Aprender múltiples capas de características a partir de imágenes diminutas. 2009.  Kumar, AV y Sivathanu, M. Quiver: Un caché de almacenamiento informado para el aprendizaje profundo. En la 18.ª Conferencia USENIX sobre tecnologías de archivos y almacenamiento (FAST 20), págs. 283–296, Santa Clara, CA, febrero de 2020. Asociación USENIX. ISBN 978-1-939133-12-0. URL https://www.usenix.org/conference/fast20/presentation/kumar.  Leclerc, G., Ilyas, A., Engstrom, L., Park, SM, Salman, H. y Madry, A. ffcv. https://github.com/libffcv/ffcv/, 2022. compromiso xxxxxxx.  Li, S., Zhao, Y., Varma, R., Salpekar, O., Noordhuis, P., Li, T., Paszke, A., Smith, J., Vaughan, B., Damania, P., et al. Pytorch distribuido: Experiencias sobre la aceleración del entrenamiento paralelo de datos. Preimpresión de arXiv arXiv:2006.15704, 2020.  Lin, T.-Y., Maire, M., Belongie, S., Hays, J., Perona, P., Ramanan, D., Dollar, P. y Zitnick, CL Microsoft coco: ´ Objetos comunes en contexto . En conferencia europea sobre visión por computadora, págs. 740–755. Saltador, 2014.  Liu, L., Wu, Y., Wei, W., Cao, W., Sahin, S. y Zhang, Q. Evaluación comparativa de marcos de aprendizaje profundo: consideraciones de diseño, métricas y más. En 2018, 38.a Conferencia Internacional del IEEE sobre Sistemas de Computación Distribuida (ICDCS), págs. IEEE, 2018.  Mattson, P., Cheng, C., Diamos, G., Coleman, C., Micikevicius, P., Patterson, D., Tang, H., Wei, G.-Y., Bailis, P., Bittorf, V., et al. Punto de referencia de entrenamiento Mlperf. Actas de sistemas y aprendizaje automático, 2:336–349, 2020.  Mohan, J., Phanishayee, A., Raniwala, A. y Chidambaram, V. Análisis y mitigación de bloqueos de datos en el entrenamiento de dnn, 2020. URL https://arxiv.org/abs/ 2007.06775.  Paszke, A., Gross, S., Massa, F., Lerer, A., Bradbury, J., Chanan, G., Killeen, T., Lin, Z., Gimelshein, N., Antiga, L., et al. Pytorch: una biblioteca de aprendizaje profundo de alto rendimiento y estilo imperativo. Avances en los sistemas de procesamiento de información neuronal, 32, 2019.  Equipo central de PyTorch. PyTorch: Documentos de PyTorch. PyTorch.  Shi, S., Wang, Q., Xu, P. y Chu, X. Evaluación comparativa de herramientas de software de aprendizaje profundo de última generación. En 2016, Séptima Conferencia Internacional sobre Computación en la Nube y Big Data (CCBD), págs. IEEE, 2016.  Tao, J.-H., Du, Z.-D., Guo, Q., Lan, H.-Y., Zhang, L., Zhou, S.-Y., Xu, L.-J., Liu, C., Liu, H.-F., Tang, S., et al. Benchip: Evaluación comparativa de procesadores de inteligencia. Revista de informática y tecnología, 33(1):1–23, 2018.  Equipo, AD Hub: un formato de conjunto de datos para IA. una API simple para crear, almacenar y colaborar en conjuntos de datos de IA de cualquier tamaño y transmitirlos a marcos ml a escala. GitHub. Nota: https://github.com/activeloopai/Hub, 2022a.  Team, SD Squirrel: una biblioteca de Python que permite a los equipos ml compartir, cargar y transformar datos de una manera colaborativa, flexible y eficiente. GitHub. Nota: https://github.com/merantix-momentum/squirrelcore, 2022b. doi: 10.5281/zenodo.6418280.  Datos de antorcha. Torchdata: una biblioteca prototipo de primitivas de carga de datos modulares comunes para construir fácilmente canales de datos flexibles y de alto rendimiento. https://github.com/pytorch/data, 2021.  Wang, Y., Wei, G.-Y. y Brooks, D. Una metodología sistemática para el análisis de plataformas de hardware y software de aprendizaje profundo. Actas de sistemas y aprendizaje automático, 2:30–43, 2020.  Conjunto de datos web. Formato de conjunto de datos web. https://github. es/webdataset/webdataset, 2013.  Wu, Y., Cao, W., Sahin, S. y Liu, L. Caracterizaciones experimentales y análisis de marcos de aprendizaje profundo. En la Conferencia Internacional IEEE sobre Big Data (Big Data) de 2018, págs. IEEE, 2018.  Wu, Y., Liu, L., Pu, C., Cao, W., Sahin, S., Wei, W. y Zhang, Q. Un estudio de medición comparativa del aprendizaje profundo como marco de servicio. Transacciones IEEE sobre informática de servicios, 2019.  Zhang, W., Wei, W., Xu, L., Jin, L. y Li, C. Ai Matrix: un punto de referencia de aprendizaje profundo para los centros de datos de Alibaba. Preimpresión de arXiv arXiv:1909.10562, 2019.  Zhu, H., Akrout, M., Zheng, B., Pelegris, A., Phanishayee, A., Schroeder, B. y Pekhimenko, G. Tbd: evaluación comparativa y análisis del entrenamiento de redes neuronales profundas. Preimpresión de arXiv arXiv:1803.06905, 2018.  Este documento está   bajo licencia CC 4.0. disponible en arxiv

Part of HackerNoon's growing list of open-source research papers, promoting free access to academic material.

Read My Stories

We cover the most cutting edge academic research and expert blog posts on serialization. Also big fans of the Serial pod

Serialization's blog

Este audio es producido en el idioma original de la historia!

Demasiado Largo; Para Leer

Boost your HackerNoon story @ $159.99! 🚀

Una descripción general del panorama del cargador de datos: conclusión, agradecimientos y referencias

About Author

COMENTARIOS

ETIQUETAS

ESTE ARTÍCULO FUE PRESENTADO EN

Related Stories

¿Quieres ganar un concurso de redacción de HackerNoon? Esto es lo que recomiendan los ganadores del concurso #crypto-api

Telegram: el puente de Crypto Island hacia el continente

Crecimiento de las criptomonedas: creación de perfiles de usuarios eficaces

¿Quieres ganar un concurso de redacción de HackerNoon? Esto es lo que recomiendan los ganadores del concurso #crypto-api

Telegram: el puente de Crypto Island hacia el continente

Crecimiento de las criptomonedas: creación de perfiles de usuarios eficaces

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps