Auteurs:  (1) Sasun Hambardzumyan, Activeloop, Mountain View, Californie, États-Unis ;  (2) Abhinav Tuli, Activeloop, Mountain View, Californie, États-Unis ;  (3) Levon Ghukasyan, Activeloop, Mountain View, Californie, États-Unis ;  (4) Fariz Rahman, Activeloop, Mountain View, Californie, États-Unis ;.  (5) Hrant Topchyan, Activeloop, Mountain View, Californie, États-Unis ;  (6) David Isayan, Activeloop, Mountain View, Californie, États-Unis ;  (7) Mark McQuade, Activeloop, Mountain View, Californie, États-Unis ;  (8) Mikayel Harutyunyan, Activeloop, Mountain View, Californie, États-Unis ;  (9) Tatevik Hakobyan, Activeloop, Mountain View, Californie, États-Unis ;  (10) Ivo Stranic, Activeloop, Mountain View, Californie, États-Unis ;  (11) Davit Buniatyan, Activeloop, Mountain View, Californie, États-Unis.  Tableau des liens   Résumé et introduction   Défis actuels   Format de stockage Tensor   Aperçu du système Deep Lake   Cas d'utilisation de l'apprentissage automatique   Repères de performances   Discussion et limites   Travaux connexes   Conclusions, remerciements et références  ABSTRAIT  Les lacs de données traditionnels fournissent une infrastructure de données critique pour les charges de travail analytiques en permettant le voyage dans le temps, l'exécution de requêtes SQL, l'ingestion de données avec des transactions ACID et la visualisation d'ensembles de données à l'échelle du pétaoctet sur le stockage cloud. Ils permettent aux organisations de briser les silos de données, de débloquer une prise de décision basée sur les données, d'améliorer l'efficacité opérationnelle et de réduire les coûts. Cependant, à mesure que l'utilisation du deep learning augmente, les lacs de données traditionnels ne sont pas bien conçus pour des applications telles que le traitement du langage naturel (NLP), le traitement audio, la vision par ordinateur et les applications impliquant des ensembles de données non tabulaires. Cet article présente Deep Lake, un Lakehouse open source pour les applications d'apprentissage profond développé chez Activeloop[1][2]. Deep Lake conserve les avantages d'un lac de données Vanilla avec une différence clé : il stocke des données complexes, telles que des images, des vidéos, des annotations, ainsi que des données tabulaires, sous la forme de tenseurs et diffuse rapidement les données sur le réseau vers (un ) Tensor Query Language, (b) un moteur de visualisation intégré au navigateur ou (c) des frameworks d'apprentissage en profondeur sans sacrifier l'utilisation du GPU. Les ensembles de données stockés dans Deep Lake sont accessibles depuis PyTorch [58], TensorFlow [25], JAX [31] et s'intègrent à de nombreux outils MLOps.  MOTS CLÉS - Deep Lake, Deep Learning, Data Lake, Lakehouse, Cloud Computing, Systèmes distribués  1. INTRODUCTION  Un lac de données est un référentiel central qui permet aux organisations de stocker des données structurées, non structurées et semi-structurées en un seul endroit. Les lacs de données offrent une meilleure façon de gérer, gouverner et analyser les données. En outre, ils offrent un moyen de briser les silos de données et d’obtenir des informations auparavant cachées dans des sources de données disparates. Les lacs de données de première génération collectaient traditionnellement des données dans des systèmes de stockage distribués tels que HDFS [71] ou AWS S3 [1]. Les collectes non organisées de données ont transformé les lacs de données en « marécages de données », ce qui a donné naissance aux lacs de données de deuxième génération dirigés par Delta, Iceberg et Hudi [27, 15, 10]. Ils fonctionnent strictement au-dessus de formats structurés standardisés tels que Parquet, ORC, Avro [79, 6, 20] et fournissent des fonctionnalités telles que le voyage dans le temps, les transactions ACID et l'évolution des schémas. Les lacs de données s'intègrent directement aux moteurs de requêtes tels que Presto, Athena,   Hive et Photon [70, 12, 76, 66] pour exécuter des requêtes analytiques. De plus, ils se connectent à des frameworks tels que Hadoop, Spark et Airflow [14, 82, 9] pour la maintenance du pipeline ETL. À son tour, l'intégration entre les lacs de données et les moteurs de requêtes avec une séparation claire du calcul et du stockage a abouti à l'émergence de systèmes comme Lakehouse [28] qui servent d'alternative aux entrepôts de données, notamment Snowflake, BigQuery, Redshift et Clickhouse [33, 4, 40, 2].  Au cours de la dernière décennie, l’apprentissage profond a dépassé les techniques traditionnelles d’apprentissage automatique impliquant des données non structurées et complexes telles que du texte, des images, des vidéos et de l’audio [44, 47, 38, 83, 51, 30, 63, 56]. Non seulement les systèmes d'apprentissage profond ont dépassé les techniques traditionnelles, mais ils ont également atteint une précision surhumaine dans des applications telles que la détection du cancer à partir d'images radiographiques, la reconstruction anatomique de cellules neurales humaines, les jeux, la conduite automobile, le déploiement de protéines et la génération d'images. 61, 48, 72, 42, 77]. Les grands modèles de langage avec des architectures basées sur des transformateurs ont obtenu des résultats de pointe dans les tâches de traduction, de raisonnement, de résumé et de complétion de texte [78, 36, 81, 32]. Les grands réseaux multimodaux intègrent des données non structurées dans des vecteurs pour la recherche multimodale [29, 60]. De plus, ils sont utilisés pour générer des images photoréalistes à partir de texte [62, 65].  Bien que l'un des principaux contributeurs au succès des modèles d'apprentissage profond ait été la disponibilité de grands ensembles de données tels que CoCo (330 000 images), ImageNet (1,2 million d'images), Oscar (corpus de texte multilingue) et LAION (400 millions et 5 milliards d'images) [49, 34, 74, 68], il ne dispose pas d'un modèle d'infrastructure de données bien établi, similaire aux charges de travail analytiques traditionnelles, pour prendre en charge une telle échelle. D'un autre côté, Modern Data Stack (MDS) ne dispose pas des fonctionnalités requises pour déployer des solutions performantes basées sur le deep learning, de sorte que les organisations choisissent de développer des systèmes en interne.  Dans cet article, nous présentons Deep Lake, un Lakehouse spécialisé pour les charges de travail d'apprentissage profond. Deep Lake conserve les principaux avantages d'un   lac de données traditionnel avec une distinction notable : il stocke des données complexes, telles que des images, des vidéos, des annotations et des données tabulaires, sous forme de tenseurs et diffuse rapidement les données vers des cadres d'apprentissage profond sur le réseau sans sacrifier l'utilisation du GPU. De plus, il offre une interopérabilité native entre les frameworks d'apprentissage profond tels que PyTorch, TensorFlow et JAX [58, 25, 31].  Les principales contributions techniques de cet article comprennent :    qui stocke des tableaux de forme dynamique sur le stockage d'objets ; • Format de stockage Tensor    qui planifie la récupération, la décompression et les transformations définies par l'utilisateur, optimisant ainsi le débit de transfert de données vers les GPU pour un apprentissage en profondeur ; • Streaming Dataloader    exécutant des opérations de type SQL sur des données de tableaux multidimensionnels ; • Tensor Query Language    qui diffuse les données du stockage d'objets et les restitue dans le navigateur à l'aide de WebGL. • Moteur de visualisation intégré au navigateur  Le reste de cet article se déroule comme suit. Nous commençons par examiner les défis actuels du deep learning sur des données non structurées. Nous présentons ensuite le Tensor Storage Format (TSF) avec ses concepts clés. De plus, nous discutons des capacités et des applications de Deep Lake dans le cycle ML. Ensuite, nous proposons des expériences de performances et discutons des résultats. Enfin, nous passons en revue les travaux connexes, énumérons les limitations possibles et concluons.  Cet article est   sous licence CC 4.0. disponible sur arxiv  [1] Code source disponible : https://github.com/activeloopai/deeplake  [2] Documentation disponible sur https://docs.deeplake.ai

Part of HackerNoon's growing list of open-source research papers, promoting free access to academic material.

Dataology.TECH

Dataology is the study of data. We publish the highest quality university papers & blog posts about the essence of data.

Dataology

Cet audio est produit dans la langue originale de l'histoire !

Trop long; Pour lire

Boost your HackerNoon story @ $159.99! 🚀

Deep Lake, un Lakehouse pour le Deep Learning : résumé et introduction

About Author

COMMENTAIRES

ÉTIQUETTES

CET ARTICLE A ÉTÉ PARU DANS

Related Stories

Le guide complet pour réussir une migration vers le cloud : stratégies et bonnes pratiques

Nomades numériques, écoutez : ce que vous devez savoir sur le nouveau visa DTV de la Thaïlande

La fuite de l'invite du système Claude Sonnet 3.5 : une analyse médico-légale

Valhalla de Floki se joint en tant que sponsor associé de la tournée indienne au Sri Lanka

Le guide complet pour réussir une migration vers le cloud : stratégies et bonnes pratiques

Nomades numériques, écoutez : ce que vous devez savoir sur le nouveau visa DTV de la Thaïlande

La fuite de l'invite du système Claude Sonnet 3.5 : une analyse médico-légale

Valhalla de Floki se joint en tant que sponsor associé de la tournée indienne au Sri Lanka

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps