Auteurs:  (1) Sasun Hambardzumyan, Activeloop, Mountain View, Californie, États-Unis ;  (2) Abhinav Tuli, Activeloop, Mountain View, Californie, États-Unis ;  (3) Levon Ghukasyan, Activeloop, Mountain View, Californie, États-Unis ;  (4) Fariz Rahman, Activeloop, Mountain View, Californie, États-Unis ;.  (5) Hrant Topchyan, Activeloop, Mountain View, Californie, États-Unis ;  (6) David Isayan, Activeloop, Mountain View, Californie, États-Unis ;  (7) Mark McQuade, Activeloop, Mountain View, Californie, États-Unis ;  (8) Mikayel Harutyunyan, Activeloop, Mountain View, Californie, États-Unis ;  (9) Tatevik Hakobyan, Activeloop, Mountain View, Californie, États-Unis ;  (10) Ivo Stranic, Activeloop, Mountain View, Californie, États-Unis ;  (11) Davit Buniatyan, Activeloop, Mountain View, Californie, États-Unis.  Tableau des liens   Résumé et introduction   Défis actuels   Format de stockage Tensor   Aperçu du système Deep Lake   Cas d'utilisation de l'apprentissage automatique   Repères de performances   Discussion et limites   Travaux connexes   Conclusions, remerciements et références  2. DÉFIS ACTUELS  Dans cette section, nous discutons des défis actuels et historiques de la gestion des données non structurées ou complexes.  2.1 Types de données complexes dans une base de données  Il n’est généralement pas recommandé de stocker des données binaires, comme des images, directement dans une base de données. En effet, les bases de données ne sont pas optimisées pour stocker et servir des fichiers volumineux et peuvent entraîner des problèmes de performances. De plus, les données binaires ne s'intègrent pas bien dans le format structuré d'une base de données, ce qui les rend difficiles à interroger et à manipuler. Cela peut entraîner des temps de chargement lents pour les utilisateurs. Les bases de données sont généralement plus coûteuses à exploiter et à entretenir que les autres types de stockage, tels que les systèmes de fichiers ou les services de stockage cloud. Par conséquent, stocker de grandes quantités de données binaires dans une base de données peut s’avérer plus coûteux que d’autres solutions de stockage.  2.2 Données complexes avec formats tabulaires  L'augmentation des charges de travail analytiques et BI à grande échelle a motivé le développement de formats structurés compressés comme Parquet, ORC, Avro, ou de formats en mémoire transitoires comme Arrow [79, 6, 20, 13]. À mesure que les formats tabulaires ont été adoptés, des tentatives pour étendre ces formats, tels que Petastorm [18] ou Feather [7] pour l'apprentissage en profondeur, ont émergé. À notre connaissance, ces formats n’ont pas encore été largement adoptés. Cette approche bénéficie principalement des intégrations natives avec Modern Data Stack (MDS). Cependant, comme indiqué précédemment, les outils en amont nécessitent des modifications fondamentales pour s'adapter aux applications d'apprentissage profond.  2.3 Stockage d'objets pour le Deep Learning  Le choix cloud natif actuel pour stocker de grands ensembles de données non structurés est le stockage d'objets tel qu'AWS S3 [1], Google Cloud Storage (GCS) [3] ou MinIO [17]. Le stockage objet offre trois avantages principaux par rapport aux systèmes de fichiers réseau distribués. Ils sont (a) rentables, (b) évolutifs et (c) servent de référentiel indépendant du format. Cependant, les stockages cloud ne sont pas sans inconvénients. Premièrement, ils introduisent une surcharge de latence importante, en particulier lors de l'itération sur de nombreux petits fichiers tels que du texte ou du JSON. Ensuite, l’ingestion de données non structurées sans contrôle des métadonnées peut produire des « marécages de données ». De plus, le stockage objet dispose d’un contrôle de version intégré ; il est rarement utilisé dans les flux de travail de science des données. Enfin, les données sur le stockage objet sont copiées sur une machine virtuelle avant la formation, ce qui entraîne une surcharge de stockage et des coûts supplémentaires.  2.4 Deuxième génération de lacs de données  Les lacs de données de deuxième génération dirigés par Delta, Iceberg, Hudi [27, 15, 10] étendent le stockage d'objets en gérant des fichiers au format tabulaire avec les propriétés principales suivantes.  (1)   insertion ou suppression d'une ligne au-dessus d'un fichier au format tabulaire. Opérations de mise à jour :  (2)   : ingestion de données en aval avec les propriétés ACID et intégration en amont avec le moteur de requête exposant l'interface SQL. Streaming  (3)   évolution de la structure en colonnes tout en préservant la rétrocompatibilité. Evolution du schéma :  (4)   préservation de l'état historique avec une propriété de restauration où les requêtes peuvent être reproductibles. En outre, prise en charge du contrôle au niveau des lignes sur le lignage des données. Voyage dans le temps et suivi du journal d'audit :  (5)   fonctionnalité intégrée pour optimiser la taille des fichiers et le compactage des données avec prise en charge des commandes personnalisées. Accélère considérablement les requêtes. Optimisation de la mise en page :  Cependant, les lacs de données de deuxième génération sont toujours limités par les formats de données inhérents à l’apprentissage profond, comme indiqué précédemment dans la section 2.2. Par conséquent, dans cet article, nous étendons la deuxième génération de capacités de lac de données aux cas d'utilisation du deep learning en repensant le format et les fonctionnalités en amont, notamment l'interrogation, la visualisation et l'intégration native aux frameworks de deep learning pour compléter le cycle de vie du ML, comme le montre la figure 2. .  Cet article est   sous licence CC 4.0. disponible sur arxiv

Part of HackerNoon's growing list of open-source research papers, promoting free access to academic material.

Dataology.TECH

Dataology is the study of data. We publish the highest quality university papers & blog posts about the essence of data.

Dataology

Cet audio est produit dans la langue originale de l'histoire !

Trop long; Pour lire

Boost your HackerNoon story @ $159.99! 🚀

Deep Lake, un Lakehouse pour le Deep Learning : les défis actuels

About Author

COMMENTAIRES

ÉTIQUETTES

CET ARTICLE A ÉTÉ PARU DANS

Related Stories

Croissance des crypto-monnaies : créer des profils d'utilisateurs efficaces

Guide de l'architecte pour créer une architecture de référence pour un datalake IA/ML

Le guide complet pour réussir une migration vers le cloud : stratégies et bonnes pratiques

Appuyez pour gagner : Telegram pourrait intégrer les 10 prochains milliards d'utilisateurs de crypto avant Solana

Croissance des crypto-monnaies : créer des profils d'utilisateurs efficaces

Guide de l'architecte pour créer une architecture de référence pour un datalake IA/ML

Le guide complet pour réussir une migration vers le cloud : stratégies et bonnes pratiques

Appuyez pour gagner : Telegram pourrait intégrer les 10 prochains milliards d'utilisateurs de crypto avant Solana

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps