Autores:  (1) Sasun Hambardzumyan, Activeloop, Mountain View, CA, EE. UU.;  (2) Abhinav Tuli, Activeloop, Mountain View, CA, EE. UU.;  (3) Levon Ghukasyan, Activeloop, Mountain View, CA, EE. UU.;  (4) Fariz Rahman, Activeloop, Mountain View, CA, EE. UU.;  (5) Hrant Topchyan, Activeloop, Mountain View, CA, EE. UU.;  (6) David Isayan, Activeloop, Mountain View, CA, EE. UU.;  (7) Mark McQuade, Activeloop, Mountain View, CA, EE. UU.;  (8) Mikayel Harutyunyan, Activeloop, Mountain View, CA, EE. UU.;  (9) Tatevik Hakobyan, Activeloop, Mountain View, CA, EE. UU.;  (10) Ivo Stranic, Activeloop, Mountain View, CA, EE. UU.;  (11) Pescante Buniatyan, Activeloop, Mountain View, CA, EE. UU.  Tabla de enlaces   Resumen e introducción   Retos actuales   Formato de almacenamiento tensorial   Descripción general del sistema de lagos profundos   Casos de uso de aprendizaje automático   Puntos de referencia de rendimiento   Discusión y limitaciones   Trabajo relacionado   Conclusiones, reconocimientos y referencias  8. TRABAJO RELACIONADO  Múltiples proyectos han intentado mejorar o crear nuevos formatos para almacenar conjuntos de datos no estructurados, incluidos TFRecord que extiende Protobuf [5], Petastorm [18] que extiende Parquet [79], Feather [7] que extiende la flecha [13], Squirrel que usa MessagePack [75], Beton en FFCV [39]. Diseñar un formato de conjunto de datos universal que resuelva todos los casos de uso es un gran desafío. Nuestro enfoque se inspiró principalmente en CloudVolume [11], un almacenamiento NumPy fragmentado en 4-D para almacenar datos biomédicos volumétricos de gran tamaño. Existen otros formatos de almacenamiento de matrices NumPy fragmentados similares, como Zarr [52], TensorStore [23], TileDB [57]. Deep Lake introdujo un sistema de escritura, tensores con forma dinámica, integración con cargadores de datos de transmisión de aprendizaje profundo rápido, consultas sobre tensores y soporte de visualización en el navegador. Un enfoque alternativo para almacenar conjuntos de datos a gran escala es utilizar un sistema de archivos distribuido HPC como Lustre [69], extendiéndolo con caché PyTorch [45] o una capa de almacenamiento de alto rendimiento como AIStore [26]. Los conjuntos de datos de Deep Lake se pueden almacenar sobre sistemas de almacenamiento distribuido compatibles con POSIX o REST API aprovechando sus beneficios. Otros enfoques comparables evolucionan en bases de datos vectoriales [80, 8, 80] para almacenar incrustaciones, almacenes de características [73, 16] o sistemas de control de versiones de datos como DVC [46] o LakeFS [21]. Por el contrario, el control de versiones de Deep Lake está integrado en el formato sin una dependencia externa, incluido Git. Tensor Query Language, similar a los enfoques TQP [41] y Velox [59], ejecuta operaciones numéricas de n dimensiones en el almacenamiento tensorial aprovechando verdaderamente todas las capacidades de los marcos de aprendizaje profundo. En general, Deep Lake toma paralelos de lagos de datos como Hudi, Iceberg, Delta [27, 15, 10] y complementa sistemas como Lakehouse de Databarick [28] para aplicaciones de aprendizaje profundo.  Este documento está   bajo licencia CC 4.0. disponible en arxiv

Part of HackerNoon's growing list of open-source research papers, promoting free access to academic material.

Dataology.TECH

Dataology is the study of data. We publish the highest quality university papers & blog posts about the essence of data.

Dataology

Este audio es producido en el idioma original de la historia!

Demasiado Largo; Para Leer

Boost your HackerNoon story @ $159.99! 🚀

Deep Lake, una casa de lago para el aprendizaje profundo: trabajo relacionado

About Author

COMENTARIOS

ETIQUETAS

ESTE ARTÍCULO FUE PRESENTADO EN

Related Stories

Las capas invisibles: por qué las entrevistas con los usuarios son un activo irremplazable

Creación de productos criptográficos centrados en el usuario: la importancia de los comentarios de los clientes

Toque para ganar: Telegram puede incorporar a los próximos 10 mil millones de usuarios de criptomonedas antes de Solana

¿Quieres ganar un concurso de redacción de HackerNoon? Esto es lo que recomiendan los ganadores del concurso #crypto-api

Las capas invisibles: por qué las entrevistas con los usuarios son un activo irremplazable

Creación de productos criptográficos centrados en el usuario: la importancia de los comentarios de los clientes

Toque para ganar: Telegram puede incorporar a los próximos 10 mil millones de usuarios de criptomonedas antes de Solana

¿Quieres ganar un concurso de redacción de HackerNoon? Esto es lo que recomiendan los ganadores del concurso #crypto-api

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps