딥러닝을 위한 호수집 Deep Lake: 관련 연구

링크 표

• 초록 및 소개
• 현재의 과제
• 텐서 저장 형식
• 딥레이크 시스템 개요
• 기계 학습 사용 사례
• 성능 벤치마크
• 토론 및 제한 사항
• 관련된 일
• 결론, 감사의 말, 참고문헌

8. 관련 업무

여러 프로젝트에서 Protobuf를 확장하는 TFRecord [5], Parquet을 확장하는 Petastorm [18], Parquet를 확장하는 [79], Feather [7] 화살표를 확장하는 [13], Squirrel을 사용하는 MessagePack [75] 등 비정형 데이터 세트를 저장하기 위한 새로운 형식을 개선하거나 생성하려고 시도했습니다. FFCV의 Beton [39]. 모든 사용 사례를 해결하는 범용 데이터 세트 형식을 설계하는 것은 매우 어렵습니다. 우리의 접근 방식은 대부분 대용량 생체 의학 데이터를 저장하기 위한 4차원 청크 NumPy 스토리지인 CloudVolume[11]에서 영감을 받았습니다. Zarr [52], TensorStore [23], TileDB [57]와 같은 다른 유사한 청크 분할 NumPy 배열 저장 형식이 있습니다. Deep Lake는 타이핑 시스템, 동적으로 형성되는 텐서, 빠른 딥 러닝 스트리밍 데이터 로더와의 통합, 텐서에 대한 쿼리 및 브라우저 내 시각화 지원을 도입했습니다. 대규모 데이터 세트를 저장하는 또 다른 접근 방식은 Lustre[69]와 같은 HPC 분산 파일 시스템을 사용하고 PyTorch 캐시[45]로 확장하거나 AIStore[26]와 같은 고성능 스토리지 계층을 사용하는 것입니다. Deep Lake 데이터세트는 장점을 활용하여 POSIX 또는 REST API 호환 분산 스토리지 시스템 위에 저장할 수 있습니다. 다른 비교 가능한 접근법은 임베딩 저장을 위한 벡터 데이터베이스[80, 8, 80], 특징 저장소[73, 16] 또는 DVC[46] 또는 LakeFS[21]와 같은 데이터 버전 제어 시스템에서 발전합니다. 반면 Deep Lake 버전 제어는 Git을 포함한 외부 종속성 없이 형식에 내장되어 있습니다. TQP [41] 및 Velox [59] 접근 방식과 유사한 Tensor Query Language는 딥 러닝 프레임워크의 모든 기능을 실제로 활용하여 텐서 스토리지에서 n차원 수치 연산을 실행합니다. 전반적으로 Deep Lake는 Hudi, Iceberg, Delta[27, 15, 10]와 같은 데이터 레이크와 유사하며 Deep Learning 애플리케이션을 위해 Databarick의 Lakehouse[28]와 같은 시스템을 보완합니다.