Penulis: Keith Belanger Penulis: Keith Belanger Harapan terhadap volume data, kecepatan, kualitas, dan pemerintahan melonjak hampir sepanjang malam, menempatkan tekanan besar pada alur kerja data yang dirancang untuk era data analitis. Pertengkaran kedua terjadi lebih tenang. saat tim bekerja untuk Pada skala perusahaan, AI semakin memainkan peran dalam mengotomatisasi penegakan standar dan kontrol DataOps. Memberikan Data yang Siap Memberikan Data yang Siap Ketika Layar Melampaui Perhatian Manusia Keandalan data telah secara tradisional tergantung pada seseorang yang memperhatikan bahwa sesuatu terasa: peringatan meledak, dashboard terlihat salah, atau tim downstream menandai masalah. Saya telah melihat pendekatan ini bekerja ketika sistem kecil dan perubahan lambat, tetapi sangat rapuh dalam menghadapi pertumbuhan.Karena organisasi meminta tim data untuk mengawasi sistem yang terus berubah, bereaksi segera, dan berperilaku secara konsisten, kewaspadaan manusia berhenti menjadi solusi dan mulai menjadi tanggung jawab. Ketika Anda mencapai skala perusahaan, pipa tidak gagal satu per satu lagi. Perubahan kecil bergetar, dan ketergantungan bercampur. Pada saat seseorang memperhatikan masalah, dampaknya sering sudah menyebar. Itulah yang DataOps dirancang untuk: keandalan yang dapat diperluas yang berasal dari sistem dan proses, bukan heroisme individu. Beralih ke Upstream Sejak model AI pertama muncul, tim data telah melihat AI sebagai konsumen data di ujung pipa. Teknologi yang sama yang meningkatkan tekanan untuk volume tinggi, cepat, data yang sangat dikelola sekarang dapat membantu membangun dan mengoperasikan sistem yang memberikan data itu. AI dapat mendukung operasi data dengan beberapa cara yang berbeda.Ini dapat membantu menjaga dokumentasi sinkron saat pipa berkembang.Ini dapat mengusulkan tes berdasarkan bagaimana sistem telah gagal atau mengalir di masa lalu.Ini dapat menampilkan anomali yang manusia akan lewatkan atau perhatikan terlalu lambat.Dan itu dapat mengevaluasi sinyal ketersediaan di seluruh kualitas, garis, dan pemerintahan terus-menerus, tidak hanya selama ulasan. Ini bukan tentang menggantikan insinyur Setiap gelombang otomatisasi membuat orang takut bahwa pekerjaan mereka akan dioptimalkan. Dalam , pengaturan ini melewatkan apa yang sebenarnya memecah sistem data. ia mengasumsikan orang dapat secara manual menegakkan standar, memvalidasi setiap perubahan, dan mengingat setiap ketergantungan. tetapi dalam kenyataannya, mereka tidak bisa - tidak pada skala AI perusahaan. Data Teknikal Data Teknikal AI sangat cocok untuk mengambil tugas-tugas analisis yang sulit, termasuk memindai pola, memeriksa konsistensi, dan menerapkan aturan secara berkelanjutan. Ketika organisasi mengotomatisasi tugas yang seharusnya bukan pekerjaan manusia di tempat pertama, para ahli data mendapatkan kebebasan untuk melakukan apa yang mereka sangat pandai: merancang produk data, menimbang kompromi, dan meningkatkan sistem dari waktu ke waktu. Di mana AI masuk ke dalam pemerintahan Percakapan pemerintahan AI cenderung berfokus pada apa yang terjadi setelah model diluncurkan. tetapi kegagalan biasanya berasal dari upstream, dalam sistem data yang akhirnya memberi makan data AI yang buruk. DataOps yang didukung AI dapat mendeteksi masalah lebih awal dan menghentikan data buruk dari mencapai produksi di tempat pertama. Pertanyaan-pertanyaan tertentu harus selalu berfungsi sebagai gerbang untuk pengiriman data: 
 
 
 
 Apakah perubahan ini harus diimplementasikan? Apakah produk data regresi dibandingkan dengan perilaku sebelumnya? Apakah pipa ini masih memenuhi harapan kebijakan dan kualitas? Dengan AI, tim dapat berhenti mengandalkan ulasan periodik atau audit post-hoc dan mulai mengatur . Pemeriksaan Pemerintahan Pemeriksaan Pemerintahan Model DataOps AI-Augmented dalam praktek Model DataOps yang ditingkatkan oleh AI tidak terlihat seperti sistem yang sepenuhnya otonom. terintegrasi dengan model operasional. Layanan dukungan Layanan dukungan Manusia mendefinisikan niat, standar, dan risiko yang dapat diterima. otomatisasi memaksakan konsistensi dan repetabilitas. AI menambahkan analisis, rekomendasi, dan peringatan dini, membantu tim melihat masalah lebih awal dan membayangkan tentang mereka lebih jelas. AI meningkatkan kepercayaan dengan mengurangi titik buta sambil menjaga akuntabilitas di tempatnya. Ketika AI berpartisipasi dalam menjalankan operasi data, beberapa pergeseran terjadi: 
 
 
 
 
 Masalah ditangkap lebih awal, ketika lebih murah untuk diperbaiki. Ulasan lebih berfokus pada niat dan dampak, bukan pemeriksaan mekanis. Dokumentasi lebih dekat dengan realitas. Tim menghabiskan lebih sedikit waktu untuk bereaksi dan lebih banyak waktu untuk meningkatkan. Tujuan adalah sistem data yang dapat diprediksi memberikan data siap AI dengan kecepatan, bahkan saat perubahan dan permintaan dipercepat. Pertimbangkan kembali peran AI dalam rekayasa data Masa depan rekayasa data akan didefinisikan oleh seberapa dapat diandalkan operasi data memberikan AI siap Itu berarti memperlakukan AI sebagai peserta dalam menegakkan disiplin, konsistensi, dan kepercayaan sepanjang siklus hidup data. Data Produk Data Produk momen ini menuntut untuk mengenali AI sebagai lebih dari sekedar konsumen AI downstream. ia harus dibawa ke atas sebagai mitra dalam pekerjaan operasional yang membuat data AI siap di tempat pertama. Sudah waktunya untuk membawa AI ke operasi data sebagai mitra yang dapat menegakkan disiplin, risiko permukaan lebih awal, dan menjaga sistem dapat diandalkan dalam skala.

The is an opinion piece based on the author’s POV and does not necessarily reflect the views of HackerNoon.

Tour The Product

Take A Hands-On Lab

Get 500 monthly minutes Free

Training Academy

Read The Docs

Join The Community

Audio ini diproduksi dalam bahasa asli cerita!

AI Berada Di Dalam DataOps, Tidak Hanya Di Akhir Pipeline

About Author

KOMENTAR

HANG TAG

ARTIKEL INI DISAJIKAN PADA

Related Stories

The Crypto Trading Writing Contest: Submission Deadline Extended!

A Beginner’s Guide to Blockchain Programming

Building an API-Powered Platform

PROMISES FULFILLED.

The Crypto Trading Writing Contest: Submission Deadline Extended!

A Beginner’s Guide to Blockchain Programming

Building an API-Powered Platform

PROMISES FULFILLED.

Light-Mode

Classic

Newspaper

Minty

Dark-Mode

Neon Noir

Minty

HN StartUps