Tác giả: Keith Belanger Tác giả: Keith Belanger Những kỳ vọng về khối lượng dữ liệu, tốc độ, chất lượng và quản trị tăng vọt gần như qua đêm, gây áp lực rất lớn đối với các dòng công việc dữ liệu được thiết kế cho kỷ nguyên dữ liệu phân tích. Sự gián đoạn thứ hai đang xảy ra một cách yên tĩnh hơn. khi các nhóm làm việc để Ở quy mô doanh nghiệp, AI ngày càng đóng một vai trò trong việc tự động hóa việc thực thi các tiêu chuẩn và kiểm soát DataOps. Cung cấp dữ liệu AI-ready Cung cấp dữ liệu AI-ready Khi quy mô vượt quá sự chú ý của con người Độ tin cậy của dữ liệu theo truyền thống phụ thuộc vào việc ai đó nhận thấy rằng một cái gì đó bị tắt: một cảnh báo bốc cháy, một bảng điều khiển trông sai, hoặc một nhóm downstream đánh dấu một vấn đề. Tôi đã thấy cách tiếp cận này hoạt động khi các hệ thống nhỏ và thay đổi chậm, nhưng nó rất mong manh khi đối mặt với sự tăng trưởng.Khi các tổ chức yêu cầu các nhóm dữ liệu giám sát các hệ thống thay đổi liên tục, phản ứng ngay lập tức và cư xử nhất quán, sự tỉnh táo của con người ngừng là một giải pháp và bắt đầu trở thành một trách nhiệm. Khi bạn đạt đến quy mô doanh nghiệp, đường ống không còn thất bại một lần nữa. Những thay đổi nhỏ xoay xở, và sự phụ thuộc trở nên phức tạp.Vào thời điểm ai đó nhận thấy một vấn đề, tác động thường đã lan rộng. Đó chính xác là những gì DataOps được thiết kế cho: độ tin cậy có thể mở rộng đến từ các hệ thống và quy trình, không phải sự anh hùng cá nhân. Chuyển sang Upstream Kể từ khi các mô hình AI đầu tiên xuất hiện, các nhóm dữ liệu đã xem AI là người tiêu dùng dữ liệu ở cuối đường ống dẫn. Cùng một công nghệ đang ngày càng gây áp lực cho dữ liệu có khối lượng cao, tốc độ cao, được quản lý cao bây giờ có thể giúp xây dựng và vận hành các hệ thống cung cấp dữ liệu đó. AI có thể hỗ trợ hoạt động dữ liệu theo một vài cách khác nhau. Nó có thể giúp giữ tài liệu đồng bộ khi đường ống phát triển. Nó có thể đề xuất thử nghiệm dựa trên cách các hệ thống đã thất bại hoặc trôi dạt trong quá khứ. Nó có thể bề mặt bất thường mà con người sẽ bỏ lỡ hoặc nhận thấy quá muộn. Và nó có thể đánh giá các tín hiệu sẵn sàng trên chất lượng, dòng và quản trị liên tục, không chỉ trong quá trình đánh giá. Đây không phải là về việc thay thế kỹ sư Mỗi làn sóng tự động hóa khiến mọi người sợ rằng công việc của họ sẽ được tối ưu hóa. Trong , khung hình này bỏ lỡ những gì thực sự phá vỡ trong các hệ thống dữ liệu. Nó giả định mọi người có thể thực thi tiêu chuẩn theo cách thủ công, xác nhận mọi thay đổi và ghi nhớ mọi sự phụ thuộc. Data Kỹ thuật Data Kỹ thuật AI rất thích hợp để thực hiện các nhiệm vụ phân tích khó khăn mà mọi người phải vật lộn, bao gồm quét các mô hình, kiểm tra tính nhất quán và áp dụng các quy tắc liên tục. Khi các tổ chức tự động hóa các nhiệm vụ mà trước hết không nên là công việc của con người, các chuyên gia dữ liệu có được sự tự do để làm những gì họ đặc biệt giỏi: thiết kế các sản phẩm dữ liệu, cân nhắc sự thỏa hiệp và cải thiện hệ thống theo thời gian. Nơi AI phù hợp với quản trị Các cuộc trò chuyện về quản trị AI có xu hướng tập trung vào những gì xảy ra sau khi các mô hình được triển khai, nhưng sự thất bại thường bắt nguồn từ các hệ thống dữ liệu cuối cùng cung cấp dữ liệu xấu cho AI. DataOps hỗ trợ AI có thể phát hiện các vấn đề sớm hơn và ngăn chặn dữ liệu xấu đến sản xuất ở nơi đầu tiên. Một số câu hỏi nhất định nên luôn luôn phục vụ như là cổng để cung cấp dữ liệu: 
 
 
 
 Sự thay đổi này có nên triển khai không? Một sản phẩm dữ liệu có lùi lại so với hành vi trong quá khứ không? Đường ống này vẫn đáp ứng các kỳ vọng về chính sách và chất lượng? Con người không thể trả lời những câu hỏi này liên tục ở quy mô AI, nhưng AI có thể.Với AI, các nhóm có thể ngừng dựa vào đánh giá định kỳ hoặc kiểm toán hậu trường và bắt đầu hệ thống hóa . governance checks Kiểm tra quản trị Một mô hình DataOps AI-Augmented trong thực tế Một mô hình DataOps AI-augmented không trông giống như một hệ thống hoàn toàn tự trị. được xây dựng trong mô hình hoạt động. hỗ trợ layered hỗ trợ layered Con người xác định ý định, tiêu chuẩn và rủi ro chấp nhận được. Tự động hóa đòi hỏi sự nhất quán và có thể lặp lại. AI thêm phân tích, khuyến nghị và cảnh báo sớm, giúp các nhóm nhìn thấy các vấn đề sớm hơn và lý luận rõ ràng hơn về chúng. AI cải thiện sự tin tưởng bằng cách giảm các điểm mù trong khi giữ trách nhiệm ở nơi nó thuộc về. Khi AI tham gia vào các hoạt động dữ liệu, một vài thay đổi xảy ra: 
 
 
 
 
 Các vấn đề được bắt sớm hơn, khi chúng rẻ hơn để sửa chữa. Các đánh giá tập trung nhiều hơn vào ý định và tác động, chứ không phải kiểm tra cơ học. Tài liệu gần gũi hơn với thực tế. Các nhóm dành ít thời gian phản ứng và nhiều thời gian để cải thiện. Mục tiêu là các hệ thống dữ liệu có thể dự đoán được cung cấp dữ liệu sẵn sàng cho AI với tốc độ nhanh, ngay cả khi thay đổi và nhu cầu tăng tốc. Suy nghĩ lại vai trò của AI trong kỹ thuật dữ liệu Tương lai của kỹ thuật dữ liệu sẽ được xác định bởi mức độ đáng tin cậy hoạt động dữ liệu của nó cung cấp AI sẵn sàng Điều đó có nghĩa là đối xử với AI như một người tham gia trong việc thực thi kỷ luật, nhất quán và tin tưởng trong suốt vòng đời dữ liệu. Sản phẩm Data Sản phẩm Data Khoảnh khắc này đòi hỏi phải công nhận AI như nhiều hơn là một người tiêu dùng AI tiếp theo. nó nên được đưa vào gấp như một đối tác trong công việc hoạt động làm cho dữ liệu AI sẵn sàng ở nơi đầu tiên. Đã đến lúc đưa AI vào hoạt động dữ liệu như một đối tác có thể thực thi kỷ luật, rủi ro bề mặt sớm hơn và giữ cho các hệ thống đáng tin cậy ở quy mô lớn.

The is an opinion piece based on the author’s POV and does not necessarily reflect the views of HackerNoon.

Tour The Product

Take A Hands-On Lab

Get 500 monthly minutes Free

Training Academy

Read The Docs

Join The Community

Nghe bài viết này bằng Tiếng Anh, đọc bởi robot thông minh của HackerNoon

AI thuộc về DataOps, không chỉ ở cuối đường ống dẫn

About Author

BÌNH LUẬN

chuyên mục

BÀI VIẾT NÀY CŨNG CÓ MẶT TẠI

Related Stories

223 Stories To Learn About Science

61 Stories To Learn About Polotical Philosophy

128 Stories To Learn About Charles Dickens

85 Stories To Learn About Productivity Hacks

223 Stories To Learn About Science

61 Stories To Learn About Polotical Philosophy

128 Stories To Learn About Charles Dickens

85 Stories To Learn About Productivity Hacks

Light-Mode

Classic

Newspaper

Minty

Dark-Mode

Neon Noir

Minty

HN StartUps