MinIO chạy trên mọi thứ – bare metal, Kubernetes, Docker, Linux, v.v. Các tổ chức chọn chạy MinIO để lưu trữ dữ liệu của họ trên bất kỳ nền tảng nào trong số này và ngày càng dựa vào nhiều nền tảng để đáp ứng nhiều yêu cầu. Việc lựa chọn phần cứng và hệ điều hành cơ bản dựa trên một số yếu tố, chủ yếu là lượng dữ liệu được lưu trữ trong MinIO cộng với các yêu cầu về tích hợp với phần mềm, hiệu suất và bảo mật gốc đám mây khác.  Nhiều khách hàng của chúng tôi chạy MinIO trên kim loại trần, trong khi phần lớn chạy trên Kubernetes. Việc chạy nhiều phiên bản MinIO trong kiến trúc được đóng gói do Kubernetes điều phối là cực kỳ hiệu quả. Khách hàng của MinIO triển khai các khu vực mới và cập nhật dịch vụ mà không bị gián đoạn, với các cụm Kubernetes riêng biệt chạy trong từng khu vực và mục tiêu hoạt động là không chia sẻ gì để có khả năng phục hồi và mở rộng cao nhất.  Khách hàng chuyển sang MinIO vì nhiều lý do, bao gồm:  API tương thích S3  Triển khai bất khả tri trên đám mây nhiều đám mây  Quản lý ACL kiểu IAM kiểu S3  Lưu trữ phân tán và có khả năng chịu lỗi bằng cách sử dụng Mã hóa xóa  Phân tầng và phân phiên bản các đối tượng trên nhiều cụm  Sao chép nhóm và site-to-Site  Sao chép hàng loạt thông qua Batch Framework  Mã hóa dữ liệu máy khách và đối tượng phía máy chủ  Mã hóa dữ liệu mạng lớp vận chuyển  Do những lý do và môi trường đa dạng mà MinIO có thể được sử dụng và cài đặt, nên thực tế là có một số nguồn dữ liệu đã lưu trữ dữ liệu mà bạn muốn truy cập vào MinIO.  Trong bài đăng này, hãy xem xét một số công cụ có sẵn để lấy dữ liệu ra khỏi S3, Hệ thống tệp cục bộ, NFS, Azure, GCP, Nền tảng nội dung Hitachi, Ceph và các công cụ khác cũng như vào các cụm MinIO nơi dữ liệu có thể được tiếp xúc với AI gốc đám mây /ML và các gói phân tích.  Khách hàng MinIO  Để bắt đầu, chúng tôi sẽ sử dụng   (mc) trong suốt bài đăng này cho một số tùy chọn trong số này. Hãy đảm bảo cài đặt nó và đặt bí danh cho   đang chạy của bạn. MinIO Client Máy chủ MinIO   mc alias set destminio https://myminio.example.net minioadminuser minioadminpassword  Chúng tôi sẽ bổ sung thêm một số bí danh “nguồn” khi chúng tôi thực hiện các phương pháp khác nhau.  Hệ thống tập tin  Phần lớn các trường hợp sử dụng để di chuyển dữ liệu vào MinIO bắt đầu bằng hệ thống tệp được gắn hoặc ổ đĩa NFS. Trong cấu hình đơn giản này, bạn có thể sử dụng   để đồng bộ dữ liệu từ nguồn đến đích. Hãy coi   như một con dao quân đội Thụy Sĩ để đồng bộ hóa dữ liệu. Người dùng sẽ không phải chịu gánh nặng trong việc xác định cách tốt nhất để tương tác với nguồn mà bạn đang tìm nạp đối tượng. Nó hỗ trợ một số nguồn và dựa trên nguồn bạn đang lấy từ đó, các chức năng phù hợp sẽ được sử dụng để kích hoạt chúng. mc mirror mc mirror  Ví dụ: hãy bắt đầu với một Hệ thống tệp đơn giản được gắn từ đĩa cứng vật lý, đĩa ảo hoặc thậm chí thứ gì đó giống như giá treo GlusterFS. Miễn là hệ điều hành có thể đọc được hệ thống tệp thì MinIO cũng có thể đọc được:   filesystem kbytes used avail capacity mounted on /dev/root 6474195 2649052 3825143 41% / /dev/stand 24097 5757 18340 24% /stand /proc 0 0 0 0% /proc /dev/fd 0 0 0 0% /dev/fd /dev/_tcp 0 0 0 0% /dev/_tcp /dev/dsk/c0b0t0d0s4 10241437 4888422 5353015 48% /home /dev/dsk/c0b0t1d0sc 17422492 12267268 5155224 71% /home2  Giả sử các đối tượng của bạn nằm trong   , sau đó bạn sẽ chạy lệnh sau để phản chiếu các đối tượng (nếu nhóm   chưa tồn tại, bạn sẽ phải tạo nó trước): /home/mydata mydata   mc mirror /home/mydata destminio/mydata  Lệnh này sẽ đảm bảo rằng các đối tượng không còn ở vị trí nguồn sẽ bị xóa khỏi đích hoặc khi các đối tượng mới được thêm vào nguồn, chúng sẽ được sao chép sang đích. Nhưng nếu bạn muốn ghi đè lên các đối tượng hiện có đã được sửa đổi trong nguồn, hãy chuyển cờ   . --overwrite  NFS  Chia sẻ tệp mạng (NFS) thường được sử dụng để lưu trữ các đối tượng hoặc dữ liệu không thường xuyên được truy cập bởi vì, mặc dù phổ biến nhưng giao thức thường rất chậm trên mạng. Tuy nhiên, rất nhiều ETL và một số hệ thống cũ sử dụng NFS làm kho lưu trữ dữ liệu được sử dụng cho các hoạt động, phân tích, AI/ML và các trường hợp sử dụng bổ sung. Sẽ tốt hơn nếu dữ liệu này tồn tại trên MinIO vì khả năng mở rộng, bảo mật và hiệu suất cao của cụm MinIO, cùng với khả năng của MinIO trong việc cung cấp dịch vụ cho các ứng dụng gốc trên nền tảng đám mây bằng API S3.  Cài đặt các gói cần thiết để gắn ổ đĩa NFS   apt install nfs-common  Đảm bảo thêm thư mục   vào  /home /etc/exports   /home client_ip(rw,sync,no_root_squash,no_subtree_check)  Lưu ý: Đảm bảo khởi động lại máy chủ NFS của bạn, chẳng hạn như trên máy chủ Ubuntu   systemctl restart nfs-kernel-server  Tạo thư mục để mount NFS mount   mkdir -p /nfs/home  Gắn âm lượng NFS   mount <nfs_host>:/home /nfs/home  Sao chép dữ liệu từ NFS sang MinIO   mc mirror /nfs/home destminio/nfsdata  Vậy là xong, bây giờ bạn có thể di chuyển các đối tượng lớn của mình từ NFS sang MinIO.  S3  Như chúng tôi đã đề cập trước đó,   là con dao đồng bộ hóa dữ liệu của quân đội Thụy Sĩ. Ngoài các hệ thống tệp, nó còn sao chép các đối tượng từ các cửa hàng tương thích API S3 hoặc S3 và phản chiếu nó sang MinIO. Một trong những trường hợp sử dụng phổ biến hơn của tính năng này là phản chiếu bộ chứa Amazon S3. mc mirror  Hãy làm theo   sau để tạo bộ chứa AWS S3 trong tài khoản của bạn. Nếu bạn đã có tài khoản hiện có với dữ liệu, chúng tôi cũng có thể sử dụng tài khoản đó. các bước  Sau khi tạo một nhóm hoặc dữ liệu đã được thêm vào nhóm hiện có, hãy tạo   mới với khóa truy cập và khóa bí mật chỉ cho phép truy cập vào nhóm của chúng tôi. Lưu thông tin xác thực đã tạo cho bước tiếp theo. chính sách IAM  Chúng tôi có thể làm việc với mọi bộ lưu trữ tương thích S3 bằng MinIO Client. Tiếp theo, hãy thêm bí danh bằng tên nhóm S3 mà chúng tôi đã tạo cùng với thông tin xác thực mà chúng tôi đã tải xuống   mc alias set s3 https://s3.amazonaws.com BKIKJAA5BMMU2RHO6IBB V7f1CwQqAcwo80UEIJEjc5gVQUSSx5ohQ9GSrr12 --api S3v4  Dùng   copy dữ liệu từ S3 sang MinIO mc mirror   mc mirror s3/mybucket destminio/mydata  Tùy thuộc vào lượng dữ liệu, tốc độ mạng và khoảng cách vật lý đến khu vực lưu trữ dữ liệu bộ chứa, bạn có thể mất vài phút hoặc hơn để phản ánh tất cả dữ liệu. Bạn sẽ thấy một thông báo khi mc hoàn tất việc sao chép tất cả các đối tượng.  HDFS  Đối với bộ công cụ tiếp theo, chúng tôi viết các tập lệnh chuyên dụng để đáp ứng một số yêu cầu di chuyển dữ liệu trường hợp biên không chuẩn mà chúng tôi cần phải đáp ứng. Một trong số đó là việc di chuyển từ HDFS và Hadoop. Nhiều doanh nghiệp có rất nhiều dữ liệu được lưu trữ trong Hadoop đến mức không thể bỏ qua nó và bắt đầu làm mới với nền tảng gốc đám mây. Sẽ khả thi hơn nếu chuyển dữ liệu đó sang thứ gì đó hiện đại hơn (và có nguồn gốc từ đám mây) như MinIO và chạy ETL của bạn cũng như các quy trình khác theo cách đó. Nó khá đơn giản để thiết lập.  Tạo một tệp có tên   với nội dung sau core-site.xml   <configuration> <property> <name>fs.s3a.path.style.access</name> <value>true</value> </property> <property> <name>fs.s3a.endpoint</name> <value>https://minio:9000</value> </property> <property> <name>fs.s3a.access.key</name> <value>minio-sample</value> </property> <property> <name>fs.s3a.secret.key</name> <value>minio-sample123</value> </property> </configuration>  Đặt các biến môi trường sau   export HDFS_SOURCE_PATH=hdfs://namenode:8080/user/minio/testdir export S3_DEST_PATH=s3a://mybucket/testdir  Tải xuống tệp sau, chmod +x và chạy nó   curl -LSs -o https://github.com/minio/hdfs-to-minio/blob/master/hdfs-to-minio.sh chmod +x hdfs-to-minio.sh ./hdfs-to-minio.sh  Nếu bạn đã lưu trữ dữ liệu trong Hadoop được vài năm thì quá trình này có thể mất vài giờ. Nếu nó nằm trên cụm sản xuất thì chúng tôi khuyên bạn nên di chuyển dữ liệu ngoài giờ trong thời gian bảo trì để giảm thiểu tác động của bất kỳ sự suy giảm hiệu suất nào đối với cụm Hadoop của bạn trong khi dữ liệu đang được phản chiếu.  Thông tin chi tiết hơn về việc di chuyển từ HDFS sang MinIO có sẵn trong   này và chúng tôi cũng có một bài đăng trên blog,   . GitHub Repo Di chuyển từ HDFS sang Lưu trữ đối tượng  HCP  Trước đây chúng tôi đã viết một bài đăng blog thú vị về   và cách di chuyển dữ liệu của bạn sang cụm MinIO. Tôi khuyên bạn nên đọc bài đăng trên blog để biết đầy đủ chi tiết nhưng mấu chốt như sau. Nền tảng nội dung của Hitachi  Sau khi bạn đã định cấu hình cụm HCP và tệp đầu vào cần thiết,   và chạy lệnh sau để bắt đầu quá trình di chuyển hãy tải xuống công cụ di chuyển   $ hcp-to-minio migrate --namespace-url https://finance.europe.hcp.example.com --auth-token "HCP bXl1c2Vy:3f3c6784e97531774380db177774ac8d" --host-header "s3testbucket.sandbox.hcp.example.com" --data-dir /mnt/data --bucket s3testbucket --input-file /tmp/data/to-migrate.txt  Ceph  Cuối cùng nhưng không kém phần quan trọng, chúng tôi đã giữ con voi trong phòng cho đến phút cuối cùng. Mặc dù đã cũ nhưng Ceph vẫn là một kho lưu trữ dữ liệu phổ biến và nó có API tương thích với S3. Nó được các dự án Kubernetes khác sử dụng làm phần phụ trợ cho việc lưu trữ đối tượng, chẳng hạn như Rook. Tuy nhiên, Ceph là một gã khổng lồ khó sử dụng để thiết lập và vận hành. Vì vậy, điều tự nhiên là mọi người muốn chuyển dữ liệu của mình sang thứ gì đó đơn giản hơn, dễ bảo trì hơn và có hiệu suất cao hơn.  Có hai cách để sao chép dữ liệu từ Ceph:  Bản sao nhóm: Tạo đối tượng nhưng nếu đối tượng bị xóa khỏi nguồn thì nó sẽ không xóa đối tượng đó ở đích.  https://min.io/docs/minio/linux/administration/bucket-replication.html  Mc mirror: Đồng bộ hóa các đối tượng và phiên bản, thậm chí nó sẽ xóa các đối tượng không tồn tại  https://min.io/docs/minio/linux/reference/minio-mc/mc-mirror.html  Tương tự như S3, vì Ceph có API tương thích với S3 nên bạn có thể thêm bí danh vào MinIO Client   mc alias set ceph http://ceph_host:port cephuser cephpass  Sau đó, bạn có thể sử dụng   để sao chép dữ liệu vào cụm MinIO của mình mc mirror   mc mirror ceph/mydata destminio/mydata  Chúng tôi khuyên bạn nên chạy lệnh   với cờ   để liên tục theo dõi các đối tượng và đồng bộ hóa chúng với MinIO. mc mirror --watch  Di chuyển dữ liệu của bạn sang MinIO ngay hôm nay!  Chỉ có một vài ví dụ cho bạn thấy việc di chuyển dữ liệu của bạn sang MinIO dễ dàng như thế nào. Sẽ không thành vấn đề nếu bạn đang sử dụng các giao thức cũ hơn như NFS hoặc mới nhất và tốt nhất như S3, MinIO luôn sẵn sàng hỗ trợ bạn.  Trong bài đăng này, chúng tôi đã đi sâu vào chi tiết về cách di chuyển từ hệ thống tệp và các kho lưu trữ dữ liệu khác như NFS, hệ thống tệp, GlusterFS, HDFS, HCP và cuối cùng nhưng không kém phần quan trọng là Ceph. Bất kể ngăn xếp công nghệ nào đang chạy trên nó, MinIO phụ trợ đều cung cấp giải pháp lưu trữ đối tượng được xác định bằng phần mềm đơn giản, hiệu quả, bền bỉ và có thể mở rộng nhưng có thể mở rộng.  Nếu bạn có bất kỳ câu hỏi nào, vui lòng liên hệ với chúng tôi trên   ! Slack  Cũng được xuất bản   . ở đây

The code in this story is for educational purposes. The readers are solely responsible for whatever they build with it.

Walkthroughs, tutorials, guides, and tips. This story will teach you how to do something new or how to do something better.

Developers do. Download MinIO and see for yourself. 

MinIO

Nghe bài viết này bằng Tiếng Anh, đọc bởi robot thông minh của HackerNoon

dài quá đọc không nổi

Get Free Unlimited IP Geo Data With IPinfo Lite

Các công cụ di chuyển dữ liệu giúp bạn truy cập MinIO

About Author

BÌNH LUẬN

chuyên mục

BÀI VIẾT NÀY CŨNG CÓ MẶT TẠI

Related Stories

223 Stories To Learn About Science

72 Stories To Learn About The Essays Of Adam Smith

145 Stories To Learn About Book

178 Stories To Learn About Essay

223 Stories To Learn About Science

72 Stories To Learn About The Essays Of Adam Smith

145 Stories To Learn About Book

178 Stories To Learn About Essay

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps