Trong vài năm qua làm việc với các nhóm dữ liệu trong các doanh nghiệp lớn, tôi đã gặp rất nhiều nhà lãnh đạo dữ liệu nói với tôi rằng họ đã cố gắng và thất bại trong việc "làm DataOps". Mô hình thường là như nhau. Họ viết tiêu chuẩn, thêm một vài bài kiểm tra, và đứng lên các công cụ quan sát. Quá trình được ghi chép. Danh sách kiểm tra phát hành được thực hiện. Nhóm cố gắng - vội vàng - để làm theo chúng. Và sau đó backlog tích lũy, ngoại lệ nhân lên, và nhóm phải giữ tất cả cùng với bộ nhớ và nhiều giờ. DataOps là một triết lý tốt, nhưng triết lý một mình không mở rộng quy mô công việc của nhóm của bạn. DataOps trở nên sống động khi các nguyên tắc của nó được thực hiện bởi các hệ thống, không phụ thuộc vào nỗ lực của con người. DataOps cung cấp mô hình hoạt động mới mạnh mẽ cho dữ liệu DataOps được xây dựng trên một điều kiện đơn giản: đối xử với dữ liệu như một sản phẩm, và giao dữ liệu như giao hàng phần mềm. Trong thực tế, DataOps rút trực tiếp từ những gì các nhóm phần mềm đã học được theo cách khó khăn: 
 
 
 
 
 Tự động xây dựng và triển khai, không phải phát hành thủ công Thử nghiệm như một mặc định, không phải là một nỗ lực anh hùng Sự quan sát trong sản xuất, không phải khảo cổ học sau khi chết Controls baked into delivery, not bolted on sau khi thực tế Nơi các tổ chức bị treo cổ là giữ cho quá trình chạy khi các hệ thống phát triển và thay đổi. Nơi DataOps phá vỡ trong thực tế Hầu hết các tổ chức đấu tranh với DataOps thất bại bởi vì họ coi các nguyên tắc của nó là những thực tiễn tốt nhất có tham vọng cho nhóm dữ liệu để duy trì. Một số mô hình phổ biến xuất hiện: 
 
 
 
 
 Các nhóm đồng ý về việc đặt tên các hiệp ước, yêu cầu tài liệu và thủ tục phát hành – cho đến khi thời hạn chót. Thử nghiệm mà không có bảo hiểm. Một số ít đường ống quan trọng được kiểm tra. phần còn lại được "chúng tôi sẽ trở lại với nó." Bảng điều khiển tồn tại, cảnh báo hỏa hoạn, nhưng không có đủ khả năng để giám sát và phản ứng với chúng, vì vậy nhóm vẫn nghe về những thất bại từ người dùng dưới dòng giận dữ. Chính sách được viết, nhưng thực thi phụ thuộc vào con người nhớ để áp dụng chúng. Đây không phải là sự lười biếng. Nhóm dữ liệu đang làm việc chăm chỉ hơn bao giờ hết, nhưng các quy trình thủ công thêm vào khối lượng công việc của họ. Nó trở nên khó khăn hơn để duy trì nỗ lực đó khi đường ống dẫn, nhóm và phụ thuộc phát triển. Tự động hóa áp dụng kỷ luật DataOps Khi mọi người nghe "tự động hóa", họ thường tưởng tượng một công việc tạo tài liệu, một người giúp đỡ tạo ra một đường ống dẫn, hoặc một macro tạo ra một vé. Tự động hóa hoạt động thay đổi phương trình bằng cách thiết lập các hệ thống đáng tin cậy xây dựng, kiểm tra, triển khai, quan sát và quản lý việc phân phối dữ liệu như một hành vi mặc định. Tự động hóa DataOps là một tập hợp các khả năng làm cho kỷ luật có thể thực thi. Trong thực tế, nó trông như thế này: 1) Cung cấp sản phẩm dữ liệu như một dòng công việc hạng nhất Thay vì đối xử với đường ống như các dự án một lần, bạn đóng gói chúng như các sản phẩm có thể tái sử dụng lâu dài - phiên bản, tài liệu, sở hữu và quảng bá thông qua các môi trường. 2) Tự động CI / CD cho thay đổi dữ liệu Cập nhật sơ đồ, logic chuyển đổi, cập nhật phụ thuộc và thay đổi cơ sở hạ tầng đi qua một con đường phát hành nhất quán - mà không cần tái tạo mỗi lần. 3) Sự quan sát liên tục gắn liền với hành động Không chỉ “chúng ta có thể thấy nó?” mà còn “chúng ta có biết ngay khi nó thay đổi, và chúng ta có cổng ngăn chặn dữ liệu xấu được vận chuyển không?” 4) Thực thi quản trị tại runtime Chính sách trở thành kiểm soát: cổng chất lượng, cổng chính sách, đường dẫn kiểm toán và kiểm tra tuân thủ được thực hiện tự động, mỗi lần phát hành, mỗi ngày. Làm thế nào tự động hóa thay đổi công việc cho các nhóm dữ liệu Cách tiếp cận hoài nghi về tự động hóa là nó đối xử với con người như cái chai chai. Trong hầu hết các tổ chức dữ liệu, chướng ngại vật thực sự là những người tài năng đang dành thời gian quý báu của họ cho công việc không có kỹ năng: reruns, hỏa hoạn, backfills, xác nhận thủ công, phối hợp phát hành, danh sách kiểm tra chính sách. Khi các nhiệm vụ đó được tự động hóa, nhóm dữ liệu có thể dành nhiều thời gian hơn cho công việc thực sự chuyển động doanh nghiệp, chẳng hạn như thiết kế sản phẩm dữ liệu, mô hình hóa doanh nghiệp, cải thiện độ tin cậy và giảm sự phức tạp. DataOps luôn là về hoạt động - Vì vậy, vận hành nó Ngay từ đầu, DataOps được thiết kế để mang lại kỷ luật, khả năng lặp lại và sự tin tưởng cho việc cung cấp dữ liệu - không phải là một lý thuyết thế giới hoàn hảo, mà là một thực tế hoạt động. Tự động hóa biến DataOps từ một tập hợp các nguyên tắc thành một quy trình được xác định mà hệ thống thực thi mỗi ngày. Nó đảm bảo rằng các tiêu chuẩn tồn tại áp lực, quản trị theo kịp với sự thay đổi, và sự tin tưởng trở thành một cái gì đó bạn có thể đo lường hơn là hy vọng. Khi các nhóm phụ thuộc vào dữ liệu của bạn để xây dựng và chạy AI, không có chỗ cho sự mơ hồ về cách dữ liệu cư xử. Đó luôn là lời hứa của DataOps. Tự động hóa là chìa khóa để biến nó thành hiện thực. 
 
 Bài viết này được đăng trong Chương trình Blog Kinh doanh của HackerNoon. Bài viết này được đăng trong Chương trình Blog Kinh doanh của HackerNoon. Câu chuyện này đã được xuất bản dưới HackerNoon's . Chương trình Blog doanh nghiệp Chương trình Blog doanh nghiệp Chương trình Blog doanh nghiệp

The is an opinion piece based on the author’s POV and does not necessarily reflect the views of HackerNoon.

Tour The Product

Take A Hands-On Lab

Get 500 monthly minutes Free

Training Academy

Read The Docs

Join The Community

Nghe bài viết này bằng Tiếng Anh, đọc bởi robot thông minh của HackerNoon

Làm thế nào tự động hóa làm cho DataOps hoạt động trong môi trường doanh nghiệp thực

About Author

BÌNH LUẬN

chuyên mục

BÀI VIẾT NÀY CŨNG CÓ MẶT TẠI

Related Stories

147 Stories To Learn About Reading Books Online

189 Stories To Learn About Reading Books

145 Stories To Learn About Book

128 Stories To Learn About Charles Dickens

147 Stories To Learn About Reading Books Online

189 Stories To Learn About Reading Books

145 Stories To Learn About Book

128 Stories To Learn About Charles Dickens

Light-Mode

Classic

Newspaper

Minty

Dark-Mode

Neon Noir

Minty

HN StartUps