Deep Lake, un Lakehouse pour le Deep Learning : conclusions, remerciements et références

Auteurs: (1) Sasun Hambardzumyan, Activeloop, Mountain View, Californie, États-Unis ; (2) Abhinav Tuli, Activeloop, Mountain View, Californie, États-Unis ; (3) Levon Ghukasyan, Activeloop, Mountain View, Californie, États-Unis ; (4) Fariz Rahman, Activeloop, Mountain View, Californie, États-Unis ;. (5) Hrant Topchyan, Activeloop, Mountain View, Californie, États-Unis ; (6) David Isayan, Activeloop, Mountain View, Californie, États-Unis ; (7) Mark McQuade, Activeloop, Mountain View, Californie, États-Unis ; (8) Mikayel Harutyunyan, Activeloop, Mountain View, Californie, États-Unis ; (9) Tatevik Hakobyan, Activeloop, Mountain View, Californie, États-Unis ; (10) Ivo Stranic, Activeloop, Mountain View, Californie, États-Unis ; (11) Davit Buniatyan, Activeloop, Mountain View, Californie, États-Unis. Tableau des liens Résumé et introduction Défis actuels Format de stockage Tensor Aperçu du système Deep Lake Cas d'utilisation de l'apprentissage automatique Repères de performances Discussion et limites Travaux connexes Conclusions, remerciements et références 9. CONCLUSIONS Nous avons présenté Deep Lake, le Lakehouse du Deep Learning. Deep Lake est conçu pour permettre aux workflows d'apprentissage en profondeur de s'exécuter de manière aussi transparente que les workflows analytiques s'exécutent sur Modern Data Stack. Deep Lake est notamment conçu pour conserver les fonctionnalités importantes des lacs de données, telles que le voyage dans le temps, les requêtes et l'ingestion rapide de données à grande échelle. Une distinction importante par rapport aux lacs de données traditionnels est la capacité de Deep Lake à stocker des données non structurées avec toutes leurs métadonnées dans un format en colonnes natif de deep learning, ce qui permet un streaming rapide des données. Cela permet de matérialiser des sous-ensembles de données à la volée, de les visualiser dans le navigateur ou de les ingérer dans des frameworks d'apprentissage profond sans sacrifier l'utilisation du GPU. Enfin, nous montrons que Deep Lake atteint des performances de pointe en matière d’apprentissage profond sur de grands ensembles de données via plusieurs benchmarks. 10. REMERCIEMENT Les auteurs souhaitent remercier Richard Socher, Travis Oliphant, Charu Rudrakshi, Artem Harutyunyan, Iason Ofeidis, Diego Kiedanski, Vishnu Nair, Fayaz Rahman, Dyllan McCreary, Benjamin Hindman, Eduard Grigoryan, Kristina Grigoryan, Ben Chislett, Joubin Houshyar, Andrii Liubimov. , Assaf Pinhasi, Vishnu Nair, Eshan Arora, Shashank Agarwal, Pawel Janowski, Kristina Arezina, Gevorg Karapetyan, Vigen Sahakyan et la communauté open source, y compris les contributeurs. Le projet a été financé par Activeloop. Nous remercions également les évaluateurs du CIDR pour leurs commentaires. LES RÉFÉRENCES [1] 2006. Amazon S3. GitHub 2022, 1 (2006). https://aws.amazon. com/s3 [2] 2009. Clickhouse. GitHub 2022, 1 (2009). https://github.com/ClickHouse/ClickHouse [3] 2010. Stockage Google Cloud. GitHub 2022, 1 (2010). https://cloud.google.com/storage [4] 2012. Google BigQuery. GitHub 2022, 1 (2012). https://nuage. google.com/bigquery [5] 2014. Protocol Buffers - Format d'échange de données de Google. GitHub 2022, 1 (2014). https://github.com/protocolbuffers/ protobuf [6] 2015. Apache Software Foundation : Apache ORC. GitHub 2022, 1 (2015). https://github.com/apache/orc [7] 2016. Plume. GitHub 2022, 1 (2016). https://github.com/wesm/feather [8] 2016. Weaviate : le premier moteur de recherche vectorielle ML. GitHub 2022, 1 (2016). https://github.com/semi-technologies/weaviate [9] 2017. Apache Airflow. GitHub 2022, 1 (2017). http://airflow. incubateur.apache.org [10] 2017. Apache Software Foundation : Apache Hudi. GitHub 2022, 1 (2017). https://hudi.apache.org [11] 2017. CloudVolume : IO pour les ensembles de données Neuroglancer. GitHub 2022, 1 (2017). https://github.com/seung-lab/cloud-volume [12] 2018. Amazon Athéna. GitHub 2022, 1 (2018). https://aws. amazon.com/athena [13] 2018. Apache Software Foundation : Apache Arrow. GitHub 2022, 1 (2018). https://arrow.apache.org [14] 2018. Apache Software Foundation : Apache Hadoop. GitHub 2022, 1 (2018). https://hadoop.apache.org [15] 2018. Apache Software Foundation : Apache Iceberg. GitHub 2022, 1 (2018). https://iceberg.apache.org [16] 2018. Feast : magasin de fonctionnalités open source pour l'apprentissage automatique. GitHub 2022, 1 (2018). https://github.com/feast-dev/feast [17] 2018. Serveur de stockage d'objets hautes performances MinIO compatible avec l'API Amazon S3. GitHub 2022, 1 (2018). https://github.com/minio/minio [18] 2018. Pétatempête. GitHub 2022, 1 (2018). https://github.com/uber/petastorm [19] 2018. Le format WebDataset. GitHub 2022, 1 (2018). https://github.com/webdataset/webdataset [20] 2019. Apache Software Foundation : Apache Avro. GitHub 2019, 1 (2019). https://avro.apache.org [21] 2019. LakeFS : lac de données avec référentiel de type Git. GitHub 2022, 1 (2019). https://github.com/treeverse/lakeFS [22] 2020. Airbyte. GitHub 2022, 1 (2020). https://github.com/airbytehq/airbyte [23] 2020. TensorStore : Bibliothèque pour lire et écrire de grands tableaux multidimensionnels. GitHub 2022, 1 (2020). https://github. com/google/tensorstore [24] 2021. N5 : spécifie les opérations primitives nécessaires pour stocker de grands tenseurs à n dimensions et des métadonnées arbitraires dans une hiérarchie de groupes similaire à HDF5. GitHub 2021, 1 (2021). https://github.com/saalfeldlab/n5 [25] Martín Abadi, Paul Barham, Jianmin Chen, Zhifeng Chen, Andy Davis, Jeffrey Dean, Matthieu Devin, Sanjay Ghemawat, Geoffrey Irving, Michael Isard et al. 2016. Tensorflow : un système d'apprentissage automatique à grande échelle. Lors du 12e Symposium {USENIX} sur la conception et la mise en œuvre des systèmes d'exploitation ({OSDI} 16). 265-283. [26] Alex Aizman, Gavin Maltby et Thomas Breuel. 2019. E/S hautes performances pour un apprentissage profond à grande échelle. En 2019 Conférence internationale IEEE sur le Big Data (Big Data). IEEE, 5965-5967. [27] Michael Armbrust, Tathagata Das, Liwen Sun, Burak Yavuz, Shixiong Zhu, Mukul Murthy, Joseph Torres, Herman van Hovell, Adrian Ionescu, Alicja Łuszczak et al. 2020. Delta Lake : stockage de tables ACID hautes performances sur des magasins d'objets cloud. Actes de la Dotation VLDB 13, 12 (2020), 3411-3424. [28] Michael Armbrust, Ali Ghodsi, Reynold Xin et Matei Zaharia. 2021. Lakehouse : une nouvelle génération de plateformes ouvertes qui unifient l'entreposage de données et l'analyse avancée. Dans Actes du CIDR. [29] Alexei Baevski, Wei-Ning Hsu, Qiantong Xu, Arun Babu, Jiatao Gu et Michael Auli. 2022. Data2vec : Un cadre général pour l'apprentissage auto-supervisé de la parole, de la vision et du langage. Préimpression arXiv arXiv :2202.03555 (2022). [30] Dzmitry Bahdanau, Kyunghyun Cho et Yoshua Bengio. 2014. Traduction automatique neuronale en apprenant conjointement à aligner et à traduire. Préimpression arXiv arXiv:1409.0473 (2014). [31] James Bradbury, Roy Frostig, Peter Hawkins, Matthew James Johnson, Chris Leary, Dougal Maclaurin, George Necula, Adam Paszke, Jake VanderPlas, Skye Wanderman-Milne et Qiao Zhang. 2018. JAX : transformations composables de programmes Python+NumPy. http://github.com/google/jax [32] Tom Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared D Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell et al. 2020. Les modèles linguistiques sont des apprenants rares. Progrès des systèmes de traitement de l’information neuronale 33 (2020), 1877-1901. [33] Benoit Dageville, Thierry Cruanes, Marcin Zukowski, Vadim Antonov, Artin Avanes, Jon Bock, Jonathan Claybaugh, Daniel Engovatov, Martin Hentschel, Jiansheng Huang, et al. 2016. L'entrepôt de données élastique en flocon de neige. Dans Actes de la Conférence internationale 2016 sur la gestion des données. 215-226. [34] Jia Deng, Wei Dong, Richard Socher, Li-Jia Li, Kai Li et Li Fei-Fei. 2009. Imagenet : Une base de données d'images hiérarchiques à grande échelle. En 2009, conférence IEEE sur la vision par ordinateur et la reconnaissance de formes. Ieee, 248-255. [35] J. Deng, W. Dong, R. Socher, L.-J. Li, K. Li et L. Fei-Fei. 2009. ImageNet : une base de données d'images hiérarchiques à grande échelle. Dans CVPR09. [36] Jacob Devlin, Ming-Wei Chang, Kenton Lee et Kristina Toutanova. 2018. Bert : Pré-formation de transformateurs bidirectionnels profonds pour la compréhension du langage. Préimpression arXiv arXiv:1810.04805 (2018). [37] Markus Dreseler, Jan Kossmann, Martin Boissier, Stefan Klauck, Matthias Uflacker et Hasso Plattner. 2019. Hyrise repensé : un système de base de données extensible pour la recherche en gestion de données relationnelles en mémoire. Dans Advances in Database Technology - 22nd International Conference on Extending Database Technology, EDBT 2019, Lisbonne, Portugal, 26-29 mars 2019, Melanie Herschel, Helena Galhardas, Berthold Reinwald, Irini Fundulaki, Carsten Binnig et Zoi Kaoudi (Eds.) . OpenProceedings.org, 313-324. https://doi.org/10.5441/002/edbt. 2019.28 [38] Ian Goodfellow, Yoshua Bengio et Aaron Courville. 2016. Apprentissage profond. Presse du MIT. [39] Andrew Ilyas Sam Park Hadi Salman Guillaume Leclerc, Logan Engstrom. 2021. Le format WebDataset. GitHub 2022, 1 (2021). https://github.com/libffcv/ffcv [40] Anurag Gupta, Deepak Agarwal, Derek Tan, Jakub Kulesza, Rahul Pathak, Stefano Stefani et Vidhya Srinivasan. 2015. Amazon redshift et les arguments en faveur d'entrepôts de données plus simples. Dans Actes de la conférence internationale ACM SIGMOD 2015 sur la gestion des données. 1917-1923. [41] Dong He, Supun Nakandala, Dalitso Banda, Rathijit Sen, Karla Saur, Kwanghyun Park, Carlo Curino, Jesús CamachoRodríguez, Konstantinos Karanasos et Matteo Interlandi. 2022. Traitement des requêtes sur les runtimes de calcul tensoriel. Préimpression arXiv arXiv :2203.01877 (2022). [42] Yu Huang et Yue Chen. 2020. Enquête sur les technologies de conduite autonome de pointe avec apprentissage profond. En 2020, 20e conférence internationale de l'IEEE sur la qualité, la fiabilité et la sécurité des logiciels Companion (QRS-C). IEEE, 221-228. [43] Tero Karras, Samuli Laine et Timo Aila. 2019. Une architecture génératrice basée sur le style pour les réseaux adverses génératifs. Dans Actes de la conférence IEEE/CVF sur la vision par ordinateur et la reconnaissance de formes. 4401-4410. [44] Alex Krizhevsky, Ilya Sutskever et Geoffrey E Hinton. 2012. Classification Imagenet avec des réseaux de neurones convolutifs profonds. Dans Avancées des systèmes de traitement de l'information neuronale. 1097-1105. Deep Lake : un Lakehouse pour le Deep Learning [45] Abhishek Vijaya Kumar et Muthian Sivathanu. 2020. Quiver : un cache de stockage éclairé pour l'apprentissage en profondeur. Lors de la 18e conférence USENIX sur les technologies de fichiers et de stockage (FAST 20). 283-296. [46] Ruslan Kuprieiev, skshetry, Dmitry Petrov, Paweł Redzyński, Peter Rowlands, Casper da Costa-Luis, Alexander Schepanovski, Ivan Shcheklein, Batuhan Taskaya, Gao, Jorge Orpinel, David de la Iglesia Castro, Fábio Santos, Aman Sharma, Dave Berenbaum, Zhanibek, Dani Hodovic, Nikita Kodenko, Andrew Grigorev, Earl, Daniele, Nabanita Dash, George Vyshnya, Maykulkarni, Max Hora, Vera, Sanidhya Mangal et Wojciech Baranowski. 2022. DVC : Contrôle de version des données - Git pour les données et les modèles. https://doi.org/10.5281/zenodo.7039863 [47] Yann LeCun, Yoshua Bengio et Geoffrey Hinton. 2015. Apprentissage profond. nature 521, 7553 (2015), 436. [48] Kisuk Lee, Jonathan Zung, Peter Li, Viren Jain et H Sebastian Seung. 2017. Précision surhumaine sur le défi connectomique SNEMI3D. Préimpression arXiv arXiv:1706.00120 (2017). [49] Tsung-Yi Lin, Michael Maire, Serge Belongie, James Hays, Pietro Perona, Deva Ramanan, Piotr Dollár et C Lawrence Zitnick. 2014. Microsoft coco : Objets communs en contexte. À la conférence européenne sur la vision par ordinateur. Springer, 740-755. [50] Frank Sifei Luan, Stephanie Wang, Samyukta Yagati, Sean Kim, Kenneth Lien, SangBin Cho, Eric Liang et Ion Stoica. 2022. Exoshuffle : mélange à grande échelle au niveau de l'application. Préimpression arXiv arXiv :2203.05072 (2022). [51] Tomas Mikolov, Kai Chen, Greg Corrado et Jeffrey Dean. 2013. Estimation efficace des représentations de mots dans l'espace vectoriel. Préimpression arXiv arXiv:1301.3781 (2013). [52] Alistair Miles, John Kirkham, Martin Durant, James Bourbeau, Tarik Onalan, Joe Hamman, Zain Patel, shikharsg, Matthew Rocklin, raphael dussin, Vincent Schut, Elliott Sales de Andrade, Ryan Abernathey, Charles Noyes, sbalmer, pyup. io bot, Tommy Tran, Stephan Saalfeld, Justin Swaney, Josh Moore, Joe Jevnik, Jerome Kelleher, Jan Funke, George Sakkis, Chris Barnes et Anderson Banihirwe. 2020. zarr-developers/zarrpython : v2.4.0. https://doi.org/10.5281/zenodo.3773450 [53] Philipp Moritz, Robert Nishihara, Stephanie Wang, Alexey Tumanov, Richard Liaw, Eric Liang, Melih Elibol, Zongheng Yang, William Paul, Michael I Jordan, et al. 2018. Ray : un cadre distribué pour les applications {IA} émergentes. Lors du 13e Symposium {USENIX} sur la conception et la mise en œuvre des systèmes d'exploitation ({OSDI} 18). 561-577. [54] Iason Ofeidis, Diego Kiedanski et Leandros Tassiulas. 2022. Un aperçu du paysage des chargeurs de données : analyse comparative des performances. Préimpression arXiv arXiv :2209.13705 (2022). [ 55] Travis et Oliphant. 2006. Un guide de NumPy. Vol. 1. Trelgol Publishing États-Unis. [56] Aaron van den Oord, Sander Dieleman, Heiga Zen, Karen Simonyan, Oriol Vinyals, Alex Graves, Nal Kalchbrenner, Andrew Senior et Koray Kavukcuoglu. 2016. Wavenet : Un modèle génératif pour l'audio brut. Préimpression arXiv arXiv:1609.03499 (2016). [57] Stavros Papadopoulos, Kushal Datta, Samuel Madden et Timothy Mattson. 2016. Le gestionnaire de stockage de données du tableau Tiledb. Actes de la Dotation VLDB 10, 4 (2016), 349-360. [58] Adam Paszke, Sam Gross, Soumith Chintala, Gregory Chanan, Edward Yang, Zachary DeVito, Zeming Lin, Alban Desmaison, Luca Antiga et Adam Lerer. 2017. Différenciation automatique dans pytorch. (2017). [59] Masha Basmanova Kevin Wilfong Laith Sakka Krishna Pai Wei He Biswapesh Chattopadhyay Pedro Pedreira, Orri Erling. 2022. Velox : le moteur d'exécution unifié de Meta. Actes de la Dotation VLDB (2022). [60] Alec Radford, Jong Wook Kim, Chris Hallacy, Aditya Ramesh, Gabriel Goh, Sandhini Agarwal, Girish Sastry, Amanda Askell, Pamela Mishkin, Jack Clark et al. 2021. Apprentissage de modèles visuels transférables à partir de la supervision du langage naturel. Lors de la Conférence internationale sur l'apprentissage automatique. PMLR, 8748-8763. [61] Pranav Rajpurkar, Jeremy Irvin, Kaylie Zhu, Brandon Yang, Hershel Mehta, Tony Duan, Daisy Ding, Aarti Bagul, Curtis Langlotz, Katie Shpanskaya et al. 2017. Chexnet : Détection de la pneumonie au niveau du radiologue sur les radiographies pulmonaires avec apprentissage profond. Préimpression arXiv arXiv:1711.05225 (2017). [62] Aditya Ramesh, Mikhail Pavlov, Gabriel Goh, Scott Gray, Chelsea Voss, Alec Radford, Mark Chen et Ilya Sutskever. 2021. Génération de texte en image sans prise de vue. Lors de la Conférence internationale sur l'apprentissage automatique. PMLR, 8821-8831. [63] Joseph Redmon, Santosh Divvala, Ross Girshick et Ali Farhadi. 2016. Vous ne regardez qu'une seule fois : détection d'objets unifiée et en temps réel. Dans Actes de la conférence IEEE sur la vision par ordinateur et la reconnaissance de formes. 779-788. [64] Amit Sabné. 2020. Xla : Compilation de l'apprentissage automatique pour des performances optimales. (2020). [65] Chitwan Saharia, William Chan, Saurabh Saxena, Lala Li, Jay Whang, Emily Denton, Seyed Kamyar Seyed Ghasemipour, Burcu Karagol Ayan, S Sara Mahdavi, Rapha Gontijo Lopes et al. 2022. Modèles photoréalistes de diffusion texte-image avec compréhension approfondie du langage. Préimpression arXiv arXiv :2205.11487 (2022). [66] Tom van Bussel Samwel, Herman van Hovell, Maryann Xue, Reynold Xin et Matei Zaharia. 2022. Photon : un moteur de requête rapide pour les systèmes Lakehouse. (2022). [67] Christoph Schuhmann, Romain Beaumont, Cade W Gordon, Ross Wightman, Theo Coombes, Aarush Katta, Clayton Mullis, Patrick Schramowski, Srivatsa R Kundurthy, Katherine Crowson et al. 2022. LAION-5B : Un ensemble de données ouvert à grande échelle pour la formation de modèles image-texte de nouvelle génération. (2022). [68] Christoph Schuhmann, Richard Vencu, Romain Beaumont, Robert Kaczmarczyk, Clayton Mullis, Aarush Katta, Theo Coombes, Jenia Jitsev et Aran Komatsuzaki. 2021. Laion400m : ensemble de données ouvert de 400 millions de paires image-texte filtrées par clips. Préimpression arXiv arXiv :2111.02114 (2021). [69] Philip Schwan et coll. 2003. Lustre : Création d'un système de fichiers pour les clusters de 1 000 nœuds. Dans Actes du symposium Linux 2003, Vol. 2003. 380-386. [70] Raghav Sethi, Martin Traverso, Dain Sundstrom, David Phillips, Wenlei Xie, Yutian Sun, Nezih Yegitbasi, Haozhun Jin, Eric Hwang, Nileema Shingte et al. 2019. Presto : SQL sur tout. En 2019, 35e Conférence internationale de l'IEEE sur l'ingénierie des données (ICDE). IEEE, 1802-1813. [71] Konstantin Shvachko, Hairong Kuang, Sanjay Radia, Robert Chansler et al. 2010. Le système de fichiers distribué hadoop. Dans MSST, Vol. 10. 1-10. [72] David Silver, Thomas Hubert, Julian Schrittwieser, Ioannis Antonoglou, Matthew Lai, Arthur Guez, Marc Lanctot, Laurent Sifre, Dharshan Kumaran, Thore Graepel, et al. 2018. Un algorithme général d'apprentissage par renforcement qui maîtrise les échecs, le shogi et le Go grâce au jeu autonome. Sciences 362, 6419 (2018), 1140-1144. [73] K Stumpf, S Bedratiuk et O Cirit. 2018. Michelangelo PyML : présentation de la plateforme Uber pour le développement rapide de modèles Python ML. Uber. Voir : https://eng. super. com/michelangelo-pyml (2018). [74] Pedro Javier Ortiz Suárez, Benoît Sagot et Laurent Romary. 2019. Pipeline asynchrone pour le traitement d'énormes corpus sur des infrastructures à ressources moyennes à faibles. Au 7e Atelier sur les défis de la gestion des grands corpus (CMLC-7). Leibniz-Institut für Deutsche Sprache. [75] Équipe de développeurs d'écureuils. 2022. Squirrel : Une bibliothèque Python qui permet aux équipes ML de partager, charger et transformer des données de manière collaborative, flexible et efficace. GitHub. Remarque : https://github.com/merantix-momentum/squirrel-core (2022). https://doi.org/10.5281/zenodo.6418280 [76] Ashish Ensureoo, Joydeep Sen Sarma, Namit Jain, Zheng Shao, Prasad Chakka, Ning Zhang, Suresh Antony, Hao Liu et Raghotham Murthy. 2010. Hive, un entrepôt de données à l'échelle du pétaoctet utilisant Hadoop. En 2010, 26e conférence internationale de l'IEEE sur l'ingénierie des données (ICDE 2010). IEEE, 996-1005. [77] Kathryn Tunyasuvunakool, Jonas Adler, Zachary Wu, Tim Green, Michal Zielinski, Augustin Žídek, Alex Bridgland, Andrew Cowie, Clemens Meyer, Agata Laydon et al. 2021. Prédiction très précise de la structure des protéines pour le protéome humain. Nature 596, 7873 (2021), 590-596. [78] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Łukasz Kaiser et Illia Polosukhin. 2017. L’attention est tout ce dont vous avez besoin. Avancées dans les systèmes de traitement de l’information neuronale 30 (2017). [79] Deepak Vohra. 2016. Parquet Apache. Dans l'écosystème Hadoop pratique. Springer, 325-335. [80] Jianguo Wang, Xiaomeng Yi, Rentong Guo, Hai Jin, Peng Xu, Shengjun Li, Xiangyu Wang, Xiangzhou Guo, Chengming Li, Xiaohai Xu et al. 2021. Milvus : un système de gestion de données vectorielles spécialement conçu. Dans les actes de la Conférence internationale 2021 sur la gestion des données. 2614-2627. [81] Zhilin Yang, Zihang Dai, Yiming Yang, Jaime Carbonell, Russ R Salakhutdinov et Quoc V Le. 2019. Xlnet : Pré-entraînement autorégressif généralisé pour la compréhension du langage. Progrès dans les systèmes de traitement de l’information neuronale 32 (2019). [82] Matei Zaharia, Mosharaf Chowdhury, Michael J Franklin, Scott Shenker et Ion Stoica. 2010. Spark : Calcul en cluster avec ensembles de travail. HotCloud 10, 10-10 (2010), 95. [83] Xiang Zhang, Junbo Zhao et Yann LeCun. 2015. Réseaux convolutifs au niveau des caractères pour la classification de texte. Dans Avancées des systèmes de traitement de l'information neuronale. 649-657. Cet article est sous licence CC 4.0. disponible sur arxiv