  1. Không có giới hạn về dữ liệu phi cấu trúc  Trong mô hình học máy hiện tại, hiệu suất và khả năng mở rộng theo tính toán, thực chất là một đại diện cho kích thước tập dữ liệu và kích thước mô hình (   , Kaplan và cộng sự). Trong vài năm qua, điều này đã mang đến những thay đổi sâu rộng về cách xây dựng cơ sở hạ tầng dữ liệu và học máy – cụ thể là: tách biệt lưu trữ và tính toán, xây dựng các hồ dữ liệu đám mây khổng lồ chứa đầy dữ liệu   và phần cứng chuyên dụng có thể thực hiện phép nhân ma trận   nhanh. Scaling Laws for Neural Language Models phi cấu trúc thực sự  Khi một tập dữ liệu đào tạo, hoặc thậm chí là một phân đoạn riêng lẻ của một tập dữ liệu, yêu cầu nhiều không gian hơn so với không gian có sẵn trong bộ nhớ hệ thống và/hoặc bộ nhớ cục bộ, tầm quan trọng của việc tách bộ nhớ khỏi tính toán trở nên rõ ràng. Khi đào tạo trên dữ liệu nằm trong MinIO Object Store, không có giới hạn nào đối với kích thước dữ liệu đào tạo của bạn. Do MinIO tập trung vào tính đơn giản và thông lượng I/O, nên mạng trở thành yếu tố hạn chế duy nhất đối với tốc độ đào tạo và việc sử dụng GPU.  Ngoài việc cung cấp hiệu suất tốt nhất trong bất kỳ kho lưu trữ đối tượng nào, MinIO còn tương thích với tất cả các khuôn khổ học máy hiện đại. MinIO Object Store cũng tương thích 100% với API S3, do đó bạn có thể thực hiện khối lượng công việc ML đối với kho lưu trữ đối tượng tại chỗ hoặc trên thiết bị của mình bằng các tiện ích tập dữ liệu quen thuộc như TorchData  . Trong trường hợp ứng dụng sử dụng của bạn yêu cầu các khả năng giống như hệ thống tệp, bạn thậm chí có thể sử dụng MinIO với các giao diện tệp lưu trữ đối tượng như  hoặc  . Trong bài đăng trên blog trong tương lai, chúng tôi sẽ sử dụng MinIO Python SDK trong các triển khai tùy chỉnh của một số giao diện PyTorch và FairSeq phổ biến (như Dataset và Task) để cho phép dữ liệu đào tạo 'không giới hạn' và sử dụng GPU cao cho việc đào tạo mô hình.   Đường ống dữ liệu S3   Điểm gắn kết S3   S3FS  Ngoài hiệu suất và khả năng tương thích với ngăn xếp ML hiện đại, các lựa chọn thiết kế lưu trữ đối tượng, cụ thể là (1) không gian tên phẳng, (2) đóng gói toàn bộ đối tượng (và siêu dữ liệu của nó) dưới dạng thực thể logic thấp nhất và (3) API động từ HTTP đơn giản, là những gì đã dẫn đến việc lưu trữ đối tượng trở thành tiêu chuẩn thực tế cho các hồ dữ liệu phi cấu trúc khổng lồ. Khi xem xét lịch sử gần đây của máy học, bạn sẽ thấy rằng dữ liệu đào tạo (và theo một nghĩa nào đó, bản thân kiến trúc mô hình) đã trở nên ít có cấu trúc hơn và tổng quát hơn. Trước đây, các mô hình chủ yếu được đào tạo trên dữ liệu dạng bảng. Ngày nay, phạm vi rộng hơn nhiều, từ các đoạn văn bản thuần túy đến nhiều giờ video. Khi kiến trúc mô hình và ứng dụng ML phát triển, bản chất không trạng thái, không có lược đồ và do đó, có thể mở rộng của kho lưu trữ đối tượng ngày càng trở nên quan trọng hơn.     2. Siêu dữ liệu phong phú cho các mô hình và tập dữ liệu  Nhờ các lựa chọn thiết kế của MinIO Object Store, mọi đối tượng đều có thể chứa siêu dữ liệu phong phú, không có lược đồ mà không làm giảm hiệu suất hoặc yêu cầu sử dụng máy chủ siêu dữ liệu chuyên dụng. Trí tưởng tượng thực sự là giới hạn duy nhất khi nói đến loại siêu dữ liệu bạn muốn thêm vào đối tượng của mình. Tuy nhiên, sau đây là một số ý tưởng có thể đặc biệt hữu ích cho các đối tượng liên quan đến ML:    : giá trị hàm mất mát, thời gian đào tạo, tập dữ liệu được sử dụng để đào tạo. Đối với các điểm kiểm tra mô hình    tên của các tệp chỉ mục được ghép nối (nếu có), danh mục tập dữ liệu (đào tạo, xác thực, kiểm tra), thông tin về định dạng của tập dữ liệu. Đối với tập dữ liệu:  Siêu dữ liệu mô tả cao như thế này có thể đặc biệt mạnh mẽ khi kết hợp với khả năng lập chỉ mục và truy vấn siêu dữ liệu này một cách hiệu quả, thậm chí trên hàng tỷ đối tượng, một điều mà  cung cấp. Ví dụ, bạn có thể truy vấn các điểm kiểm tra mô hình được gắn thẻ là "đã thử nghiệm" hoặc các điểm kiểm tra đã được đào tạo trên một tập dữ liệu cụ thể.   Danh mục doanh nghiệp MinIO     3. Các mô hình và bộ dữ liệu có sẵn, có thể kiểm tra và có thể tạo phiên bản  Khi các mô hình học máy và tập dữ liệu của chúng ngày càng trở thành tài sản quan trọng, việc lưu trữ và quản lý các tài sản này theo cách có khả năng chịu lỗi, có thể kiểm tra và có thể phiên bản hóa lại càng trở nên quan trọng.  Các tập dữ liệu và các mô hình đào tạo trên chúng là những tài sản có giá trị, là sản phẩm khó kiếm được của thời gian, công sức kỹ thuật và tiền bạc. Theo đó, chúng phải được bảo vệ theo cách không cản trở việc truy cập của các ứng dụng. Các hoạt động nội tuyến của MinIO như kiểm tra bitrot và mã hóa xóa, cùng với các tính năng như sao chép chủ động-chủ động, đa trang web đảm bảo khả năng phục hồi của các đối tượng này ở quy mô lớn.  Đặc biệt với AI tạo sinh, việc biết phiên bản nào của tập dữ liệu nào được sử dụng để đào tạo một mô hình cụ thể đang được phục vụ sẽ hữu ích khi gỡ lỗi ảo giác và các hành vi sai trái khác của mô hình. Nếu các điểm kiểm tra mô hình được phiên bản hóa đúng cách, việc tin tưởng khôi phục nhanh về phiên bản điểm kiểm tra đã phục vụ trước đó sẽ dễ dàng hơn. Với MinIO Object Store, bạn sẽ nhận được những lợi ích này cho các đối tượng của mình ngay khi xuất xưởng.     4. Cơ sở hạ tầng phục vụ sở hữu  Kho đối tượng MinIO về cơ bản là kho đối tượng mà bạn hoặc tổ chức của bạn kiểm soát. Cho dù trường hợp sử dụng là để tạo mẫu, bảo mật, quản lý hay  , kiểm soát là chủ đề chung. Theo đó, nếu các điểm kiểm tra mô hình được đào tạo nằm trên kho đối tượng, bạn có thể kiểm soát tốt hơn nhiệm vụ phục vụ các mô hình để suy luận hoặc sử dụng.   mục đích kinh tế  , chúng tôi đã khám phá những lợi ích của việc lưu trữ các tệp mô hình trên kho lưu trữ đối tượng và cách phục vụ chúng trực tiếp bằng khuôn khổ suy luận TorchServe từ PyTorch. Tuy nhiên, đây là một chiến lược hoàn toàn không phụ thuộc vào mô hình và khuôn khổ.   Trong bài đăng trước  Nhưng tại sao điều này lại quan trọng? Độ trễ mạng hoặc sự cố ngừng hoạt động trên kho lưu trữ mô hình của bên thứ ba có thể khiến các mô hình chậm được phục vụ để suy luận hoặc hoàn toàn không khả dụng. Hơn nữa, trong môi trường sản xuất, nơi các máy chủ suy luận đang mở rộng quy mô và cần phải thường xuyên kéo các điểm kiểm tra mô hình, vấn đề này có thể trở nên trầm trọng hơn. Trong những trường hợp an toàn nhất và/hoặc quan trọng nhất, tốt nhất là tránh phụ thuộc vào bên thứ ba qua internet khi bạn có thể. Với MinIO là kho lưu trữ đối tượng đám mây riêng tư hoặc kết hợp, bạn có thể tránh hoàn toàn những vấn đề này.     Suy nghĩ kết thúc  Bốn lý do này không phải là danh sách đầy đủ. Các nhà phát triển và tổ chức sử dụng MinIO Object Storage cho khối lượng công việc AI của họ vì nhiều lý do, từ dễ phát triển đến kích thước siêu nhẹ.  Trong phần đầu của bài đăng này, chúng tôi đã đề cập đến các động lực thúc đẩy việc áp dụng kho lưu trữ đối tượng hiệu suất cao cho AI. Bất kể các quy luật mở rộng có đúng hay không, điều chắc chắn sẽ đúng là các tổ chức và khối lượng công việc AI của họ sẽ luôn được hưởng lợi từ khả năng thông lượng I/O tốt nhất hiện có. Ngoài ra, chúng ta có thể khá tự tin rằng các nhà phát triển sẽ không bao giờ yêu cầu các API   sử dụng hơn và phần mềm   'chỉ hoạt động'. Trong bất kỳ tương lai nào mà các giả định này đúng, kho lưu trữ đối tượng hiệu suất cao chính là giải pháp. khó không  Đối với bất kỳ kiến trúc sư và người ra quyết định kỹ thuật nào đang đọc bài viết này, nhiều phương pháp hay nhất được đề cập ở đây có thể được tự động hóa để đảm bảo lưu trữ đối tượng được tận dụng theo cách giúp quy trình làm việc AI/ML của bạn đơn giản hơn và có khả năng mở rộng hơn. Điều này có thể thực hiện thông qua việc sử dụng bất kỳ bộ công cụ MLOps hiện đại nào. SME AI/ML Keith Pijanowski đã khám phá nhiều công cụ trong số này - hãy tìm kiếm trang blog của chúng tôi về Kubeflow, MLflow và MLRun để biết thêm thông tin về công cụ MLOps. Tuy nhiên, nếu các công cụ MLOps này không phải là lựa chọn cho tổ chức của bạn và bạn cần bắt đầu nhanh chóng, thì các kỹ thuật được trình bày trong bài đăng này là cách tốt nhất để bắt đầu quản lý quy trình làm việc AI/ML của bạn bằng MinIO.  Đối với các nhà phát triển (hoặc bất kỳ ai tò mò 🙂), trong bài đăng trên blog trong tương lai, chúng tôi sẽ hướng dẫn chi tiết từ đầu đến cuối về cách điều chỉnh khuôn khổ ML để tận dụng kho đối tượng với mục tiêu là dữ liệu đào tạo 'không giới hạn' và sử dụng GPU hợp lý.  Cảm ơn bạn đã đọc, tôi hy vọng nó hữu ích! Như thường lệ, nếu bạn có bất kỳ câu hỏi nào, hãy tham gia  hoặc gửi cho chúng tôi một lưu ý tại  .   Kênh Slack   xin chào@min.io

Developers do. Download MinIO and see for yourself. 

MinIO

Nghe bài viết này bằng Tiếng Anh, đọc bởi robot thông minh của HackerNoon

Lý do thực sự tại sao AI được xây dựng trên lưu trữ đối tượng

About Author

BÌNH LUẬN

chuyên mục

BÀI VIẾT NÀY CŨNG CÓ MẶT TẠI

Related Stories

179 Stories To Learn About Reading

147 Stories To Learn About Reading Books Online

85 Stories To Learn About Productivity Hacks

94 Stories To Learn About John Locke

179 Stories To Learn About Reading

147 Stories To Learn About Reading Books Online

85 Stories To Learn About Productivity Hacks

94 Stories To Learn About John Locke

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps