Yönetmen: Keith Belanger Yönetmen: Keith Belanger Veri hacmi, hız, kalite ve yönetim beklentileri neredeyse bir gecede yükseldi ve analitik veri çağı için tasarlanmış veri iş akışlarına büyük bir baskı sağladı. İkinci kesintiler daha sessiz bir şekilde gerçekleşiyor. ekipler çalıştıkça Kurumsal ölçekte, AI, DataOps standartlarının ve kontrollerinin otomatikleştirilmesinde giderek daha fazla rol oynamaktadır. AI-ready verileri gönderin AI-ready verileri gönderin İnsan dikkatini aştığı zaman Verilerin güvenilirliği geleneksel olarak bir şeyin durduğunu fark eden birine bağlıdır: bir uyarı yanar, bir denetim panosu yanlış görünüyor veya bir aşağıdaki ekibin bir sorunu işaretliyor. Bu yaklaşım, sistemlerin küçük olduğunda ve değişim yavaş olduğunda çalıştığını gördüm, ancak büyüme yüzünden çok kırılgan.Organizasyonlar veri ekiplerini sürekli değişen sistemleri denetlemeye, anında tepki vermeye ve tutarlı davranmaya çağırırken, insan uyanışı bir çözüm olmaktan vazgeçer ve sorumluluk haline gelir. Kurumsal ölçeğe ulaştığınızda, borular birer birer bozulmaz.Küçük değişiklikler bozulur ve bağımlılıklar karışır.Birisi bir sorun fark ettiğinde, etki genellikle zaten yayılmıştır. DataOps tam olarak bunun için tasarlanmıştır: sistemlerden ve süreçlerden gelen ölçeklenebilir güvenilirlik, bireysel kahramanlık değil. Ulaşım Upstream İlk AI modellerinin ortaya çıkmasından bu yana, veri ekipleri, pipelin sonundaki bir veri tüketicisi olarak AI'yi gördü. Yüksek hacimli, yüksek hızlı, yüksek yönetilen veriler için artan baskıya sahip olan aynı teknoloji, şimdi bu verileri sağlayan sistemleri oluşturmaya ve işletmeye yardımcı olabilir. AI, veri operasyonlarını birkaç farklı şekilde destekleyebilir. Pipelin geliştikçe belgeleri senkronize etmeye yardımcı olabilir. Sistemlerin geçmişte nasıl başarısız olduklarına veya kaybolduklarına dayanarak testler önerebilir. İnsanların kaçırdığı veya çok geç fark edeceği anomalileri yüzeye çıkarabilir. Ve sadece inceleme sırasında değil, kalite, çizgi ve yönetim boyunca sürekli olarak hazırlık sinyalleri değerlendirebilir. Bu, mühendislerin yerini almaktan ibaret değil Otomasyonun her dalgası, insanların işlerinin optimize edileceğinden korkar. içinde Bu çerçeve, gerçekte veri sistemlerinde kırılan şeyleri kaçırır. İnsanlar standartları manuel olarak uygulayabilir, her değişikliği doğrulayabilir ve her bağımlılığı hatırlayabilir. Data Mühendisliği Data Mühendisliği Yapay zeka, insanların çabalarıyla uğraşan zorlu analitik görevleri üstlenmek için iyidir, örnekler için tarama, tutarlılık kontrolü ve kuralları sürekli olarak uygulamak. Kuruluşlar, ilk başta insan çalışması olmaması gereken görevleri otomatikleştirirken, veri uzmanları, benzersiz olarak iyi olan şeyleri yapma özgürlüğünü kazanırlar: veri ürünleri tasarlamak, kompromiler ağırlamak ve zamanla sistemleri geliştirmek. Hükümetin içine girdiği yer AI yönetimi konuşmaları, modellerin uygulanmasından sonra neler olup bittiğine odaklanma eğilimindedir.Ama başarısızlıklar genellikle, AI'ya kötü verileri besleyen veri sistemlerinde, yukarı yönde ortaya çıkar. AI desteklenen DataOps, sorunları daha erken tespit edebilir ve kötü verilerin ilk etapta üretime ulaşmasını engelleyebilir. Belirli sorular her zaman veri aktarımı için kapılar olarak hizmet etmelidir: Bu değişiklik uygulanmalı mı? Bir veri ürünü geçmiş davranışına kıyasla geriledi mi? Bu boru hattı hala politika ve kalite beklentileri karşılar mı? İnsanlar bu soruları sürekli olarak AI ölçeğinde cevaplayamazlar, ancak AI yapabilir. . Hükümet Kontrolü Hükümet Kontrolü Uygulamada AI-Augmented DataOps Modeli Bir AI artırılmış DataOps modeli tamamen bağımsız bir sistem gibi görünmüyor. Operasyon modeline dahil edilmiştir. Dernek Desteği Dernek Desteği İnsanlar niyetleri, standartları ve kabul edilebilir riskleri tanımlar. otomatikleşme tutarlılığı ve tekrarlanabilirliği sağlar. AI, analizleri, önerileri ve erken uyarıları ekler, ekiplerin sorunları daha erken görmelerine ve bunları daha net bir şekilde düşünmelerine yardımcı olur. AI, kör noktaları azaltarak güven geliştirir ve sorumluluğu ait olduğu yerde tutar. AI veri operasyonlarını çalıştırdığında, birkaç değişiklik gerçekleşir: Sorunlar daha önce yakalanır, düzeltmek daha ucuz olduğunda. İncelemeler, mekanik kontroller değil, niyet ve etkiye daha fazla odaklanmaktadır. Belgeler gerçeğe daha yakındır. Ekipler daha az tepki vermeye ve daha fazla zaman geliştirmeye harcıyor. Hedef, tahmin edilebilir bir şekilde değişim ve talep hızlanınca bile AI hazır verileri hızlı bir şekilde sunabilen veri sistemleri. Veri Mühendisliği'nde AI'nin Rolünü Yeniden Düşün Veri mühendisliğinin geleceği, veri operasyonlarının ne kadar güvenilir bir şekilde AI hazırlığı sağlayacağına göre belirlenecektir. Bu, AI'yi, veri yaşam döngüsünde disiplin, tutarlılık ve güven uygulamasında bir katılımcı olarak değerlendirmek anlamına gelir. Data Ürünleri Data Ürünleri Bu an, AI'nin bir alt akım AI tüketicisi olmaktan daha fazlası olarak tanınmasını gerektirir. ilk olarak veri AI'ya hazır hale getiren operasyonel çalışmalarda bir ortak olarak karıştırılmalıdır. Disiplin uygulayabilen, yüzey riski daha erken uygulayabilen ve sistemleri ölçekte güvenilir tutabilen bir ortak olarak AI'yi veri operasyonlarına getirme zamanı geldi.
