Geçtiğimiz birkaç yıl içinde büyük işletmelerdeki veri ekipleriyle çalışarak, “DataOps yapmak” denediklerini ve başarısız olduklarını söyleyen bir sürü veri lideriyle tanıştım. Örnek genellikle aynıdır. Standartları yazarlar, birkaç test eklerler ve gözlemsel araçlar oluştururlar. Süreçler belgelendirilir. Çıkış kontrol listeleri yapılır. Ekipler onları takip etmeye çalışırlar. Ve sonra geri kalanı toplanır, istisnalar çoğalır ve ekibin hepsini hafıza ve uzun saatlerle birlikte tutması gerekir. DataOps iyi bir felsefe, ancak felsefe tek başına ekibinizin çalışmasını ölçmez. DataOps, prensiplerinin sistemler tarafından yürütüldüğünde, insan çabasına bağımlı olmadığında hayata geçiyor. DataOps, veri için cesur yeni bir işletim modeli sunuyor DataOps basit bir varsayım üzerine kurulmuştur: verileri bir ürün olarak ve veri teslimatı bir yazılım teslimatı gibi. Uygulamada, DataOps doğrudan yazılım ekiplerinin zor bir şekilde öğrendiği şeylere dayanmaktadır: Otomatik oluşturma ve dağıtım, manuel sürümler değil Testler varsayılan olarak, kahramanca bir çaba değil Ölüm sonrası arkeolojide değil, üretimde gözlemlenebilirlik Kontroller teslimat için pişirildi, gerçeğin ardından boylamadı Kuruluşların bağlandığı yer, sistemler büyüdükçe ve değiştikçe süreçleri devam ettirmektir. DataOps pratikte düştüğü yerler DataOps ile mücadele eden organizasyonların çoğu başarısızdır, çünkü ilkelerini veri ekibinin sürdürmesi için istekli en iyi uygulamalar olarak görürler. Bazı ortak örnekler ortaya çıkıyor: Ekipler sözleşmelerin isimlendirilmesi, belgelendirme gereksinimleri ve serbest bırakma prosedürleri konusunda anlaşırlar - zamanlamalar sona erene kadar. Birkaç kritik boru hattı testler yapar, geri kalanı “bize geri döneceğiz” diyor. Kontrol panoları var, yangın uyarıları var, ancak bunları izlemek ve yanıtlamak için yeterli kapasite yok, bu yüzden ekibi hala öfkeli aşağıdaki kullanıcılardan başarısızlıklar hakkında duyuyor. Politikalar yazılır, ancak uygulama insanların bunları uygulamayı hatırlamasına bağlıdır. Bu yumuşaklık değildir. veri ekipleri her zamankinden daha fazla çalışıyor, ancak manuel süreçler çalışma yüküne katkıda bulunur. boru hattı, ekipler ve bağımlılıklar büyüdükçe bu çabayı sürdürmek daha zor hale gelir. DataOps Disiplinini Geliştirme İnsanlar “otomatikleştirme”yi duyduğunda, genellikle belgeleri oluşturan bir iş, bir boru hattını ayarlayan bir yardımcı veya bir bilet oluşturan bir makro hayal ederler.Bu tür iş otomatikleştirmeleri kullanışlı olabilir, ancak tüm sistemin baskı altında nasıl davrandığını değiştirmez. Operasyonel otomasyon, veri teslimini varsayılan bir davranış olarak güvenilir bir şekilde oluşturan, test eden, dağıtan, gözlemleyen ve yöneten sistemler oluşturarak eşitliği değiştirir. DataOps otomatikleştirme, disiplin uygulanabilir hale getiren bir dizi yetenektir. Uygulamada ise şöyle görünüyor: 1) İlk sınıf bir iş akışı olarak veri ürün teslimatı Pipeline tek seferlik projeler olarak bakmak yerine, bunları kalıcı, tekrar kullanılabilir teslimatlar olarak paketliyorsunuz - çevreler aracılığıyla sürümlendirilmiş, belgelendirilmiş, mülkiyetli ve tanıtılmış. 2) Veri değişikliği için otomatik CI/CD Schema güncelleştirmeleri, dönüşüm mantığı, bağımlılık güncelleştirmeleri ve altyapı değişiklikleri, her seferinde yeniden icat edilmeden tutarlı bir sürüm yoluyla ilerler. 3) Eylemle bağlantılı sürekli gözlemlenebilirlik Sadece “gözleyebilir miyiz?” değil, “Nerede değiştiğini hemen biliyor muyuz ve kötü verilerin gönderilmesini durduracak kapılarımız var mı?” 4) Yürütme sürecinde yönetmelik uygulanması Politikalar kontroller haline gelir: kalite kapıları, politika kapıları, denetim yolları ve her gün otomatik olarak çalışan uyumluluk kontrolleri. Otomasyon, Veri Ekiplerinin Çalışmasını Nasıl Değiştiriyor Otomasyonun sinik yaklaşımı, insanları şişeye bürünmüş gibi davranmaktır. Çoğu veri org'unda, gerçek şişe sıkıntısı, yetenekli insanların değerli zamanlarını yeteneksiz çalışmalara harcıyor olmasıdır: geri dönüşler, itfaiye, geri dönüşler, manuel doğrulamalar, serbestleştirme koordinasyonu, politika kontrol listeleri. Bu görevler otomatikleştirildiğinde, veri ekibi, veri ürünlerini tasarlamak, iş modelini oluşturmak, güvenilirliği geliştirmek ve karmaşıklığı azaltmak gibi işleri gerçekten hareket ettiren işlerde daha fazla zaman harcamak için nefes alabilir. DataOps Her Zaman İşlemler Hakkındaydı - Bu yüzden Onu Operasyonalize Edin Başlangıçtan beri, DataOps, disiplin, tekrarlanabilirlik ve veri teslimine güven getirmek için tasarlanmıştır - mükemmel bir dünya teorisi olarak değil, bir operasyonel gerçeklik olarak. Otomatikleşme, DataOps’i bir dizi prensipten, sistemin her gün uyguladığı belirli bir süreç haline getirir. standartların baskı altında kalmasını, yönetimin değişime uymamasını ve güvenin umudu yerine ölçülebileceğiniz bir şey haline gelmesini sağlar. Ekipler AI'yi oluşturmak ve çalıştırmak için verilerinize bağlı olduğunda, verilerin nasıl davrandığının belirsizliğine yer yok. Bu her zaman DataOps'un vaatiydi.Otomatikleştirme, bunu gerçeğe dönüştürmenin anahtarıdır. Bu hikaye HackerNoon’un Business Blogging Programı altında yayınlandı. Bu hikaye HackerNoon’un Business Blogging Programı altında yayınlandı. Bu hikaye HackerNoon's tarafından yayınlandı . Blog İşletme Programı Blog İşletme Programı Blog İşletme Programı
