著者:  （１）サスン・ハンバルズミアン、アクティブループ、カリフォルニア州マウンテンビュー、米国 （２）アビナブ・トゥリ、アクティブループ、カリフォルニア州マウンテンビュー、米国 （３）レヴォン・グカシアン、アクティブループ、カリフォルニア州マウンテンビュー、米国 （4）ファリズ・ラーマン、アクティブループ、カリフォルニア州マウンテンビュー、米国。  （５）Hrant Topchyan、Activeloop、カリフォルニア州マウンテンビュー、米国 （6）デビッド・イサヤン、アクティブループ、カリフォルニア州マウンテンビュー、米国 （7）マーク・マククエイド、アクティブループ、カリフォルニア州マウンテンビュー、米国 （8）ミカエル・ハルティニャン、アクティブループ、カリフォルニア州マウンテンビュー、米国 （9）Tatevik Hakobyan、Activeloop、カリフォルニア州マウンテンビュー、米国 （10）イヴォ・ストラニック、アクティブループ、カリフォルニア州マウンテンビュー、米国 （11）Davit Buniatyan、Activeloop、カリフォルニア州マウンテンビュー、米国。 リンク一覧 概要と序文 現在の課題 テンソル保存形式 ディープレイクシステムの概要 機械学習のユースケース パフォーマンスベンチマーク 議論と制限 関連作業 結論、謝辞、参考文献 8. 関連研究 複数のプロジェクトが、非構造化データセットを保存するためのフォーマットを改善または新フォーマットの作成を試みてきました。その中には、Protobuf [5] を拡張した TFRecord、Parquet [79] を拡張した Petastorm [18]、arrow [13] を拡張した Feather [7]、MessagePack [75] を使用した Squirrel、FFCV [39] の Beton などがあります。すべてのユースケースを解決するユニバーサルデータセットフォーマットを設計することは非常に困難です。私たちのアプローチは主に、大容量のバイオメディカルデータを保存するための 4-D チャンク NumPy ストレージである CloudVolume [11] からヒントを得ました。同様のチャンク NumPy 配列ストレージフォーマットには、Zarr [52]、TensorStore [23]、TileDB [57] などがあります。Deep Lake は、型付けシステム、動的に形作られるテンソル、高速なディープラーニングストリーミングデータローダーとの統合、テンソルに対するクエリ、ブラウザ内視覚化サポートを導入しました。大規模データセットを保存する別の方法としては、Lustre [69] などの HPC 分散ファイルシステムを使用し、PyTorch キャッシュ [45] や AIStore [26] などの高性能ストレージ層で拡張する方法があります。Deep Lake データセットは、POSIX または REST API 互換の分散ストレージシステム上に、その利点を活用して保存できます。他の類似のアプローチとしては、埋め込みを保存するためのベクターデータベース [80, 8, 80]、特徴ストア [73, 16]、DVC [46] や LakeFS [21] などのデータバージョン管理システムなどがあります。対照的に、Deep Lake のバージョン管理は、Git などの外部依存関係なしに形式に組み込まれています。Tensor Query Language は、TQP [41] や Velox [59] のアプローチと同様に、ディープラーニングフレームワークの機能をフルに活用して、テンソルストレージ上で n 次元の数値演算を実行します。全体的に、Deep LakeはHudi、Iceberg、Delta [27、15、10]などのデータレイクと類似点を持ち、DatabarickのLakehouse [28]などのシステムを補完してDeep Learningアプリケーションを実現します。 この論文はCC 4.0ライセンスの下で 。 arxivで公開されています

Part of HackerNoon's growing list of open-source research papers, promoting free access to academic material.

Dataology.TECH

Dataology is the study of data. We publish the highest quality university papers & blog posts about the essence of data.

Dataology

このオーディオは、ストーリーの元の言語で制作されています。

長すぎる; 読むには

Make resilience your competitive advantage

ディープラーニングのためのレイクハウス「Deep Lake」: 関連研究

About Author

コメント

ラベル

この記事は

Related Stories

HackerNoon Coded: HackerNoonが最も活発に活動している上位10カ国

海を航海する: データレイクを使用した本番環境レベルの RAG アプリケーションの開発

18 種類の開発者ツールで生産性を向上しましょう 🚀🔥

ユニークなエコシステムを支えるビットコインUTXOのモデル

HackerNoon Coded: HackerNoonが最も活発に活動している上位10カ国

海を航海する: データレイクを使用した本番環境レベルの RAG アプリケーションの開発

18 種類の開発者ツールで生産性を向上しましょう 🚀🔥

ユニークなエコシステムを支えるビットコインUTXOのモデル

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps