Nhiều người trong chúng tôi đã thực hiện các thay đổi đối với dữ liệu dựa trên các yêu cầu phát triển sau này. Đến lúc chúng ta nhận ra điều đó thì việc quay trở lại là điều không thể. Thay đổi không chỉ là một hằng số; đó là một phần thiết yếu trong việc quản lý dữ liệu đòi hỏi một cách tiếp cận phức tạp. Nhập chức năng giống Git của danh mục dữ liệu Nessie của Dremio.  Giống như Git đã trở thành nền tảng cho việc phát triển phần mềm, các kỹ sư dữ liệu cần các công cụ tương tự để hoạt động song song, so sánh các phiên bản dữ liệu, thúc đẩy các thay đổi trong quá trình sản xuất và khôi phục dữ liệu khi cần. Nessie cung cấp cho các kỹ sư dữ liệu hệ thống kiểm soát phiên bản giống Git để quản lý các phiên bản dữ liệu, nhánh, hợp nhất và cam kết. Điều này có thể rất hữu ích khi có nhiều kỹ sư dữ liệu đang làm việc và chuyển đổi dữ liệu cùng một lúc. Nessie cho phép mỗi kỹ sư làm việc ở các nhánh riêng biệt trong khi vẫn duy trì một nguồn sự thật duy nhất dưới dạng nhánh chính. Chức năng này trao quyền cho các nhóm kỹ thuật dữ liệu để duy trì chất lượng dữ liệu một cách cộng tác trước sự thay đổi không ngừng.  Bài viết này cung cấp hướng dẫn từng bước trình bày cách Nessie, Dremio và MinIO phối hợp với nhau để nâng cao chất lượng dữ liệu và cộng tác trong quy trình kỹ thuật dữ liệu của bạn. Cho dù bạn là kỹ sư dữ liệu, kỹ sư ML hay chỉ là người đam mê hồ dữ liệu hiện đại, blog này sẽ trang bị cho bạn kiến thức và công cụ cần thiết để nâng cao hiệu quả các phương pháp lập phiên bản dữ liệu của bạn.  Hiểu những điều cơ bản: Khối lượng công việc của Nessie  Nessie cho phép khối lượng công việc giống như Git cho phép bạn thử nghiệm, phát triển và đưa vào sản xuất. Hãy chia nhỏ một số khái niệm chính:    Giống như trong Git, các nhánh trong Nessie cho phép bạn làm việc đồng thời trên các nhiệm vụ kỹ thuật dữ liệu khác nhau. Ví dụ: bạn có thể có một nhánh để phát triển tính năng, làm sạch dữ liệu và chuyển đổi dữ liệu. Mỗi nhánh có thể có tập hợp thay đổi dữ liệu riêng. Nhánh:    Trong Nessie, cam kết thể hiện ảnh chụp nhanh dữ liệu tại một thời điểm cụ thể. Khi bạn thực hiện các thay đổi đối với dữ liệu của mình, bạn sẽ tạo một cam kết mới ghi lại những thay đổi đó. Cam kết được liên kết với một chi nhánh cụ thể. Khi bạn cần hoàn nguyên dữ liệu của mình về trạng thái ổn định hoặc đã biết rõ, Nessie giúp bạn dễ dàng chọn một cam kết cụ thể và quay lại phiên bản dữ liệu đó. Điều này đảm bảo chất lượng dữ liệu và tính nhất quán. Cam kết:    : Nessie cho phép bạn hợp nhất các thay đổi từ nhánh này sang nhánh khác. Điều này tương tự như việc hợp nhất các thay đổi mã trong Git. Khi bạn hợp nhất một nhánh, những thay đổi dữ liệu được thực hiện trong nhánh đó sẽ trở thành một phần của nhánh đích. Hợp nhất  Các thành phần     là một công cụ phân tích phân tán hoạt động như một nền tảng nguồn mở, cung cấp giao diện tự phục vụ trực quan để khám phá, chuyển đổi và cộng tác dữ liệu. Thiết kế của nó dựa trên  một định dạng bộ nhớ cột tốc độ cao. Dremio   Mũi tên Apache,  Chúng ta đã khám phá cách triển khai Dremio với Kubernetes cũng như cách  . Để biết thêm thông tin về Dremio, hãy tham khảo ý kiến  .   truy vấn bảng Iceberg trên MinIO với Dremio   Tài nguyên Dremio    là bộ lưu trữ đối tượng hiệu suất cao. Nổi tiếng vì sự đặc biệt của nó  Và  , MinIO đóng vai trò là thành phần then chốt trong việc xây dựng và duy trì cơ sở hạ tầng hồ dữ liệu hiện đại. MinIO trao quyền cho các kiến trúc sư để quản lý và lưu trữ khối lượng lớn dữ liệu một cách hiệu quả tại chỗ, trên kim loại trần, ở rìa hoặc trên bất kỳ đám mây công cộng nào. MinIO   tốc độ   khả năng mở rộng  là một định dạng bảng mở phù hợp để quản lý khối lượng lớn dữ liệu trong hồ dữ liệu. Các tính năng độc đáo như du hành thời gian, tiến hóa lược đồ động và Tiến hóa phân vùng khiến nó trở thành một công cụ thay đổi cuộc chơi, cho phép các công cụ truy vấn hoạt động đồng thời trên cùng một dữ liệu một cách an toàn và hiệu quả. Nhìn thấy  để biết thêm thông tin về các tính năng của Iceberg.   tảng băng trôi Apache    MinIO Hướng dẫn dứt khoát về Kiến trúc Lakehouse với Iceberg và  Bắt đầu  Bạn sẽ cần  Và  cho hướng dẫn này. Cách dễ nhất để có được cả hai nếu bạn chưa có là cài đặt Docker Desktop.   Công cụ Docker   Docker Soạn  Phần hướng dẫn này dựa trên Dremio  . Bạn có thể lấy repo cho dự án này  .   bài viết trên blog   đây  Để bắt đầu, hãy mở một thiết bị đầu cuối và điều hướng đến thư mục nơi bạn đã sao chép/tải xuống kho lưu trữ và chạy lệnh bên dưới để khởi động Dremio.   docker-compose up dremio  Đợi một lát rồi điều hướng đến   để truy cập Dremio. Cập nhật các trường được yêu cầu rồi nhấp vào Tiếp theo.  http://localhost:9047  Tiếp theo, chạy lệnh sau để khởi động MinIO.   docker-compose up minio  Lệnh   cuối cùng bên dưới sẽ khởi động Nessie. docker-compose up   docker-compose up nessie  Điều hướng đến   để đăng nhập vào MinIO bằng tên người dùng và mật khẩu của   . Bạn sẽ được nhắc tạo một nhóm.  http://localhost:9001 minioadmin:minioadmin  Tạo một tên có tên là   .  iceberg-datalake  Sau đó quay lại Dremio tại   và nhấp vào Thêm nguồn và chọn Nessie.  http://localhost:9047  Đặt tên thành  nessie  Đặt URL điểm cuối thành  http://nessie:19120/api/v2  Đặt xác thực thành    none  Đừng nhấp vào Lưu. Thay vào đó, trong bảng điều hướng ở bên trái, hãy nhấp vào Bộ nhớ. MinIO là bộ lưu trữ đối tượng tương thích với S3-API và có thể sử dụng cùng đường dẫn kết nối như AWS S3.  Đối với khóa truy cập của bạn, hãy đặt  minioadmin  Đối với khóa bí mật của bạn, hãy đặt  minioadmin  Đặt đường dẫn gốc tới    /iceberg-datalake  Cuộn xuống để xem bộ hướng dẫn tiếp theo.  Nhấp vào nút   trong   để tạo và định cấu hình các thuộc tính sau. Add Property Connection Properties    thành  fs.s3a.path.style.access true    tới  fs.s3a.endpoint minio:9000    thành  dremio.s3.compat true  Bỏ chọn    Encrypt connection  Sau đó nhấp vào Lưu. Bây giờ bạn sẽ thấy Danh mục Nessie trong nguồn dữ liệu của mình.   Tạo nguồn dữ liệu  Trong Dremio điều hướng đến SQL Runner ở phía bên trái. Đảm bảo rằng   ở khu vực phía trên bên phải của trình soạn thảo văn bản được đặt thành nguồn Nessie của chúng tôi. Nếu không, bạn sẽ phải tham chiếu ngữ cảnh như   thay vì chỉ   để chạy truy vấn này. Sao chép và dán đoạn SQL bên dưới và chạy. Context nessie.SalesData SalesData     CREATE TABLE SalesData (    id INT,    product_name VARCHAR,    sales_amount DECIMAL,    transaction_date DATE ) PARTITION BY (transaction_date);  Chạy truy vấn bên dưới để chèn dữ liệu vào bảng bạn vừa tạo.     INSERT INTO SalesData (id, product_name, sales_amount, transaction_date) VALUES    (1, 'ProductA', 1500.00, '2023-10-15'),    (2, 'ProductB', 2000.00, '2023-10-15'),    (3, 'ProductA', 1200.00, '2023-10-16'),    (4, 'ProductC', 1800.00, '2023-10-16'),    (5, 'ProductB', 2200.00, '2023-10-17');  Điều hướng quay lại MinIO để thấy rằng hồ dữ liệu của bạn đã được điền vào các bảng Iceberg.   Phân nhánh và hợp nhất với Nessie  Quay lại Dremio tại   . Bắt đầu bằng cách truy vấn một bảng trên nhánh chính bằng cú pháp   : http://localhost:9047 AT BRANCH     SELECT * FROM nessie.SalesData AT BRANCH main;  Tạo một nhánh ETL (Trích xuất chuyển đổi và tải) để cho phép bạn thử nghiệm và chuyển đổi dữ liệu mà không ảnh hưởng đến quá trình sản xuất.   CREATE BRANCH etl_06092023 in nessie  Trong nhánh ETL, chèn dữ liệu mới vào bảng:   USE BRANCH etl_06092023 in nessie; INSERT INTO nessie.SalesData (id, product_name, sales_amount, transaction_date) VALUES (6, 'ProductC', 1400.00, '2023-10-18');  Xác nhận tính khả dụng ngay lập tức của dữ liệu mới trong nhánh ETL:   SELECT * FROM nessie.SalesData AT BRANCH etl_06092023;  Lưu ý việc tách biệt các thay đổi khỏi người dùng trên nhánh chính:   SELECT * FROM nessie.SalesData AT BRANCH main;  Hợp nhất các thay đổi từ nhánh ETL trở lại nhánh chính:   MERGE BRANCH etl_06092023 INTO main in nessie;  Chọn lại nhánh chính để thấy rằng những thay đổi đã thực sự được hợp nhất.   SELECT * FROM nessie.SalesData AT BRANCH main  Chiến lược phân nhánh này cho phép các kỹ sư dữ liệu xử lý độc lập nhiều giao dịch trên nhiều bảng. Khi sẵn sàng, các kỹ sư dữ liệu có thể hợp nhất các giao dịch này thành một giao dịch nhiều bảng toàn diện, duy nhất trong nhánh chính.  Phần kết luận  Bài đăng trên blog này đi sâu vào sức mạnh của việc kiểm soát phiên bản giống Git trong kỹ thuật dữ liệu, nhấn mạnh cách  quản lý liền mạch các phiên bản dữ liệu, phân nhánh và hợp nhất. Hướng dẫn từng bước này trình bày cách Nessie, phối hợp với Dremio và MinIO, với tư cách là nền tảng lưu trữ đối tượng, nâng cao chất lượng dữ liệu và cộng tác trong quy trình kỹ thuật dữ liệu.   Nessie  Hãy cho chúng tôi biết kho dữ liệu của bạn trông như thế nào  hoặc trên  .   xin chào@minio.io   kênh Slack của chúng tôi  Cũng xuất hiện   . ở đây

Developers do. Download MinIO and see for yourself. 

MinIO

Nghe bài viết này bằng Tiếng Anh, đọc bởi robot thông minh của HackerNoon

Những bí ẩn về hồ dữ liệu được tiết lộ: Nessie, Dremio và MinIO tạo nên làn sóng

About Author

BÌNH LUẬN

chuyên mục

BÀI VIẾT NÀY CŨNG CÓ MẶT TẠI

Related Stories

61 Stories To Learn About Polotical Philosophy

85 Stories To Learn About Productivity Hacks

147 Stories To Learn About Reading Books Online

85 Stories To Learn About Travel

61 Stories To Learn About Polotical Philosophy

85 Stories To Learn About Productivity Hacks

147 Stories To Learn About Reading Books Online

85 Stories To Learn About Travel

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps