मुख्य लेख : Keith Belanger मुख्य लेख : Keith Belanger डेटा इंजीनियरिंग के लिए एआई की पहली बाधा गलतफहमी थी. डेटा की मात्रा, गति, गुणवत्ता और शासन के लिए अपेक्षाएं लगभग रात भर में बढ़ गईं, जो विश्लेषणात्मक डेटा युग के लिए डिज़ाइन किए गए डेटा कार्य प्रवाहों पर भारी दबाव डालती हैं। दूसरा दौर शांतिपूर्वक चल रहा है. टीमों के साथ काम करते हुए उद्यम पैमाने पर, एआई डेटाओप्स मानकों और नियंत्रणों के अनुपालन को स्वचालित करने में तेजी से एक भूमिका निभा रहा है। AI-ready डेटा प्रदान करें AI-ready डेटा प्रदान करें जब मस्तिष्क मानव ध्यान से परे होता है डेटा की विश्वसनीयता परंपरागत रूप से किसी को नोटिस करने पर निर्भर करती है कि कुछ बंद महसूस हो रहा है: एक अलार्म आग लगती है, एक डैशबोर्ड गलत दिखता है, या एक नीचे की टीम एक समस्या को चिह्नित करती है। मैंने देखा है कि यह दृष्टिकोण तब काम करता है जब सिस्टम छोटे होते हैं और परिवर्तन धीरे-धीरे होते हैं, लेकिन यह विकास के चेहरे पर बहुत कमजोर होता है. जैसा कि संगठन डेटा टीमों को उन सिस्टम की निगरानी करने के लिए कहते हैं जो लगातार बदलते हैं, तुरंत प्रतिक्रिया करते हैं, और लगातार व्यवहार करते हैं, मानव जागरूकता एक समाधान होने से रोकती है और एक जिम्मेदारी बनने लगती है. जब आप उद्यम पैमाने तक पहुंचते हैं, तो पाइपलाइन एक बार फिर से विफल नहीं होते हैं. छोटे बदलाव झुकते हैं, और निर्भरताएं जटिल हो जाती हैं. जब कोई समस्या को नोटिस करता है, तो प्रभाव अक्सर पहले से ही फैल गया है। यह वही है जिसके लिए DataOps डिज़ाइन किया गया था: स्केलेबल विश्वसनीयता जो सिस्टम और प्रक्रियाओं से आता है, व्यक्तिगत नायकता नहीं। UPSTREAM के बारे में पहले एआई मॉडल के बाद से, डेटा टीमों ने पाइपलाइन के अंत में एआई को डेटा उपभोक्ता के रूप में देखा है। एक ही तकनीक जो उच्च मात्रा, उच्च गति, अत्यधिक प्रबंधित डेटा के लिए दबाव में वृद्धि कर रही है, अब उन सिस्टम का निर्माण और संचालन करने में मदद कर सकती है जो उस डेटा को वितरित करते हैं। एआई कुछ अलग तरीकों से डेटा ऑपरेशन का समर्थन कर सकता है. यह पाइपलाइनों के विकास के रूप में दस्तावेज़ों को सिंक्रनाइज़ करने में मदद कर सकता है. यह परीक्षणों का प्रस्ताव कर सकता है जो इस बात पर आधारित हैं कि सिस्टम अतीत में कैसे विफल हुए हैं या ड्रिफ्ट हुए हैं. यह उन अनियमितताओं को सतह पर कर सकता है जिन्हें मनुष्य याद करेंगे या बहुत देर से नोटिस कर सकते हैं. और यह गुणवत्ता, लाइनिंग और शासन के माध्यम से तैयारी सिग्नल का मूल्यांकन कर सकता है, न केवल समीक्षाओं के दौरान। यह इंजीनियरों को बदलने के बारे में नहीं है स्वचालन की हर लहर लोगों को डरती है कि उनकी नौकरियां दूर हो जाएंगी। में यह मानता है कि लोग मानकों को मैन्युअल रूप से लागू कर सकते हैं, हर बदलाव को मान्य कर सकते हैं, और हर निर्भरता को याद कर सकते हैं। डेटा इंजीनियरिंग डेटा इंजीनियरिंग एआई कठोर विश्लेषणात्मक कार्यों को लेने के लिए अच्छी तरह से उपयुक्त है जिनके साथ लोग संघर्ष करते हैं, जिसमें पैटर्न के लिए स्कैन करना, निरंतरता की जाँच करना और नियमों को लागू करना शामिल है। जब संगठन कार्यों को स्वचालित करते हैं जो पहले मानव काम नहीं होना चाहिए था, तो डेटा विशेषज्ञों को वह करने की स्वतंत्रता मिलती है जो वे अद्वितीय रूप से अच्छे हैं: डेटा उत्पादों को डिजाइन करना, प्रतिस्पर्धाओं को वजन करना, और समय के साथ प्रणालियों को बेहतर बनाना। जहां सरकार में योगदान एआई शासन बातचीत पर ध्यान केंद्रित करने की प्रवृत्ति है कि मॉडल तैनात होने के बाद क्या होता है. लेकिन असफलताएं आमतौर पर ऊपर की ओर उत्पन्न होती हैं, डेटा प्रणालियों में जो अंततः एआई को बुरे डेटा को खिलाती हैं. एआई-आधारित डेटाओप्स समस्याओं को पहले से पता लगा सकते हैं और सबसे पहले खराब डेटा को उत्पादन तक पहुंचने से रोक सकते हैं। कुछ प्रश्न हमेशा डेटा वितरण के लिए गेट के रूप में कार्य करना चाहिए: क्या इस बदलाव को लागू किया जाना चाहिए? क्या एक डेटा उत्पाद अपने पिछले व्यवहार की तुलना में वापस आ गया है? क्या यह पाइपलाइन अभी भी नीति और गुणवत्ता की अपेक्षाओं को पूरा करती है? इंसान इन सवालों का जवाब एआई पैमाने पर लगातार नहीं कर सकते हैं, लेकिन एआई कर सकते हैं. एआई के साथ, टीमें नियमित समीक्षाओं या पोस्ट-हॉक ऑडिट पर भरोसा करना बंद कर सकती हैं और व्यवस्थित करना शुरू कर सकती हैं। . नियंत्रण की जांच नियंत्रण की जांच अभ्यास में AI-Augmented DataOps मॉडल एआई-आउट किए गए डेटाओप्स मॉडल एक पूरी तरह से स्वायत्त प्रणाली की तरह नहीं दिखता है। यह ऑपरेटिंग मॉडल में शामिल है। layered support लाइसेंस समर्थन मनुष्य इरादों, मानकों और स्वीकार्य जोखिम को परिभाषित करते हैं. ऑटोमेशन निष्पक्षता और पुनरावृत्ति को मजबूत करता है. एआई विश्लेषण, सिफारिशों और प्रारंभिक चेतावनी को जोड़ता है, टीमों को समस्याओं को जल्दी से देखने और उनके बारे में अधिक स्पष्ट रूप से तर्क देने में मदद करता है। एआई अंधा बिंदुओं को कम करके आत्मविश्वास में सुधार करता है, जबकि जिम्मेदारी रखता है जहां यह संबंधित है। जब एआई डेटा ऑपरेशन चलाने में भाग लेता है, तो कुछ बदलाव होते हैं: समस्याओं को पहले पकड़ा जाता है, जब उन्हें ठीक करने के लिए सस्ता होता है। समीक्षाएं इरादे और प्रभाव पर अधिक ध्यान केंद्रित करती हैं, यांत्रिक नियंत्रण नहीं। दस्तावेज वास्तविकता के करीब है। टीमें प्रतिक्रिया करने में कम समय बिताती हैं और बेहतर बनाने में अधिक समय बिताती हैं। लक्ष्य डेटा सिस्टम हैं जो अनुमान लगाने योग्य रूप से गति से एआई तैयार डेटा प्रदान करते हैं, भले ही परिवर्तन और मांग तेज हो जाए। डेटा इंजीनियरिंग में एआई की भूमिका पर पुनः विचार करें डेटा इंजीनियरिंग का भविष्य इस बात से परिभाषित होगा कि इसकी डेटा ऑपरेशन कितनी विश्वसनीय रूप से एआई-ready प्रदान करेगी इसका मतलब है कि एआई को डेटा जीवन चक्र के दौरान अनुशासन, निष्पक्षता और भरोसा को लागू करने में भाग लेने के रूप में व्यवहार करना। डेटा उत्पाद डेटा उत्पाद इस क्षण में एआई को एक निचले स्तर के एआई उपभोक्ता से अधिक के रूप में पहचानने की आवश्यकता होती है. इसे ऑपरेटिंग काम में एक भागीदार के रूप में झुकने में लाया जाना चाहिए जो डेटा एआई को सबसे पहले तैयार करता है। यह एक ऐसा भागीदार के रूप में डेटा संचालन में एआई लाने का समय है जो अनुशासन, सतह जोखिम को जल्दी से लागू कर सकता है, और सिस्टम को पैमाने पर विश्वसनीय रख सकता है।
