Selama beberapa tahun terakhir bekerja dengan tim data di dalam perusahaan besar, saya telah bertemu dengan banyak pemimpin data yang mengatakan kepada saya bahwa mereka telah mencoba dan gagal untuk "melakukan DataOps." Pattern biasanya sama. mereka menulis standar, menambahkan beberapa tes, dan berdiri instrumen observabilitas. proses didokumentasikan. daftar cek rilis dibuat. tim mencoba — dengan sengaja — untuk mengikuti mereka. Dan kemudian backlog menumpuk, pengecualian berlipat ganda, dan tim harus memegang semuanya bersama dengan memori dan jam panjang. DataOps adalah filsafat yang baik, tetapi filsafat saja tidak memperbesar kerja tim Anda. DataOps datang hidup ketika prinsip-prinsipnya dilakukan oleh sistem, tidak tergantung pada upaya manusia. DataOps Menawarkan Model Operasi Baru untuk Data DataOps dibangun pada premis sederhana: memperlakukan data sebagai produk, dan pengiriman data seperti pengiriman perangkat lunak. Dalam prakteknya, DataOps mengambil langsung dari apa yang tim perangkat lunak belajar dengan cara yang sulit: Pembuatan dan implementasi otomatis, bukan rilis manual Pengujian sebagai default, bukan upaya heroik Observabilitas dalam produksi, bukan arkeologi postmortem Kontrol dibersihkan dalam pengiriman, tidak dibungkus setelah fakta Di mana organisasi terjebak adalah menjaga proses berjalan saat sistem tumbuh dan berubah. Di mana DataOps Melanggar di Praktek Sebagian besar organisasi yang berjuang dengan DataOps gagal karena mereka memperlakukan prinsip-prinsipnya sebagai praktik terbaik yang bercita-cita untuk tim data untuk mempertahankan. Beberapa pola umum muncul: Standar tanpa penegakan. tim sepakat tentang nama konvensi, persyaratan dokumentasi, dan prosedur rilis – sampai batas waktu. Pengujian tanpa cakupan. sekelompok pipa kritis mendapatkan tes. sisanya mendapatkan "kami akan kembali ke itu." Dashboards ada, peringatan kebakaran, tetapi tidak ada kapasitas yang cukup untuk memantau dan merespons mereka, sehingga tim masih mendengar tentang kegagalan dari pengguna downstream yang marah. Kebijakan ditulis, tetapi penegakan tergantung pada manusia yang ingat untuk menerapkannya. Ini bukan kebosanan. tim data bekerja lebih keras dari sebelumnya, tetapi proses manual menambah beban kerja mereka. Automasi Menguatkan Disiplin DataOps Ketika orang mendengar "otomasi", mereka sering membayangkan pekerjaan yang menghasilkan dokumentasi, asisten yang mengatur pipa, atau makro yang membuat tiket. Otomasi operasi mengubah persamaan dengan membangun sistem yang dapat diandalkan membangun, menguji, mendistribusikan, mengamati, dan mengatur pengiriman data sebagai perilaku default. DataOps otomatisasi adalah seperangkat kemampuan yang membuat disiplin dapat dilaksanakan. Dalam prakteknya, ini terlihat seperti ini: 1) Pengiriman produk data sebagai alur kerja kelas pertama Alih-alih memperlakukan pipa sebagai proyek satu kali, Anda membungkusnya sebagai pengiriman yang tahan lama dan dapat digunakan kembali – versi, didokumentasikan, dimiliki, dan dipromosikan melalui lingkungan. 2) CI / CD otomatis untuk perubahan data Pembaruan skema, logika transformasi, pembaruan ketergantungan, dan perubahan infrastruktur bergerak melalui jalur rilis yang konsisten - tanpa penemuan ulang setiap kali. 3) Pengamatan berkelanjutan yang terkait dengan tindakan Tidak hanya “kita bisa melihatnya?” tetapi “apakah kita tahu segera ketika itu berubah, dan apakah kita memiliki gerbang yang menghentikan data buruk dari pengiriman?” 4) Kepemilikan administrasi pada runtime Kebijakan menjadi kendali: gerbang kualitas, gerbang kebijakan, jalur audit, dan pemeriksaan kepatuhan yang berjalan secara otomatis, setiap rilis, setiap hari. Bagaimana Otomasi Mengubah Kerja Tim Data Pendekatan sinis tentang otomatisasi adalah bahwa itu memperlakukan manusia sebagai botol. Dalam kebanyakan data org, hambatan nyata adalah bahwa orang-orang berbakat menghabiskan waktu berharga mereka pada pekerjaan yang tidak terampil: reruns, firefights, backfills, validasi manual, koordinasi rilis, checklist kebijakan. Ketika tugas-tugas tersebut diotomatisasi, tim data mendapatkan ruang untuk menghabiskan lebih banyak waktu pada pekerjaan yang benar-benar memindahkan bisnis, seperti merancang produk data, memodelkan bisnis, meningkatkan keandalan, dan mengurangi kompleksitas. DataOps Selalu Tentang Operasi - Jadi Operasionalkan Sejak awal, DataOps dimaksudkan untuk membawa disiplin, repetabilitas, dan kepercayaan kepada pengiriman data – tidak sebagai teori dunia yang sempurna, tetapi sebagai realitas operasional. Automasi mengubah DataOps dari seperangkat prinsip menjadi proses yang didefinisikan yang diterapkan sistem setiap hari.Ini memastikan bahwa standar bertahan dari tekanan, pemerintahan mengikuti perubahan, dan kepercayaan menjadi sesuatu yang dapat diukur daripada berharap. Ketika tim bergantung pada data Anda untuk membangun dan menjalankan AI, tidak ada ruang untuk ambiguitas tentang bagaimana data berperilaku. Itu selalu menjanjikan DataOps. otomatisasi adalah kunci untuk membuatnya menjadi kenyataan. Artikel ini dipublikasikan di HackerNoon’s Business Blogging Program. Artikel ini dipublikasikan di HackerNoon’s Business Blogging Program. Artikel ini dipublikasikan di HackerNoon's . Program Bisnis Blogging Program Bisnis Blogging Program Bisnis Blogging
