SQL सर्वर 2022 के साथ MiniIO पर डेटा संग्रहीत और क्वेरी करने के लिए बाहरी तालिकाओं का उपयोग करना

डेटा एक चीज़ है, अंतर्दृष्टि दूसरी चीज़ है। जानकारी से अंतर्दृष्टि निकालने के कई तरीके हैं - और वह सीमा ट्रेडऑफ़ के साथ आती है। यदि आप इसे एक पिरामिड के रूप में सोचते हैं, तो आपके पास शीर्ष पर AI, उसके ठीक नीचे ML, उसके नीचे उन्नत विश्लेषण और आधार के रूप में SQL है। यह उद्यम में विश्लेषण का एक सरलीकृत, लेकिन प्रतिनिधि चित्र है।

चुनौती यह है कि एआई/एमएल प्रतिभा का आना वास्तव में कठिन है। यह आवश्यक रूप से समाचार नहीं है, लेकिन यह उन सहयोगियों के साथ बातचीत में स्पष्ट हुआ जो कुछ सबसे बड़ी फॉर्च्यून 500 कंपनियों के लिए एनालिटिक्स चलाने के लिए जिम्मेदार हैं। जबकि एआई और एमएल डेटा में कुछ गहन अंतर्दृष्टि प्रदान करने का वादा करते हैं, इन एमएल पाइपलाइनों को स्थापित करने और उनका लाभ उठाने के लिए अत्यधिक परिष्कृत डेटा विज्ञान क्षमताओं की आवश्यकता होती है। कई मामलों में ये लंबी दूरी की परियोजनाएं होती हैं जिन्हें पूरा होने में वर्षों नहीं तो कई महीने लग जाते हैं और इन नए डेटा विज्ञान प्रतिमानों को सीखने के लिए मौजूदा कर्मचारियों को फिर से प्रशिक्षित करने की आवश्यकता हो सकती है।

दूसरी ओर, SQL कौशल संगठन में हर जगह हैं और डेटा की भाषा हैं। दुनिया इसी तरह डेटाबेस से बात करती है। यही कारण है कि फॉर्च्यून 500 का 95% हिस्सा माइक्रोसॉफ्ट के SQL सर्वर पर चलता है। उद्यम में इससे अधिक सर्वव्यापी डेटा तकनीक नहीं हो सकती है।

Microsoft SQL Server 2022 के साथ, ऑब्जेक्ट स्टोरेज बाहरी तालिकाओं नामक तकनीक के माध्यम से प्रथम श्रेणी का नागरिक बन जाता है। दो भाग हैं. सबसे पहले, एक S3 कनेक्टर. दूसरा, पॉलीबेस डेटा वर्चुअलाइजेशन ढांचे में संवर्द्धन।

इस अतिरिक्त के साथ, उद्यम अब SQL सर्वर 2022 के साथ बड़े पैमाने पर ऑब्जेक्ट स्टोर को क्वेरी कर सकते हैं - जहां भी वे ऑब्जेक्ट स्टोर मौजूद हैं। नई सुविधा ग्राहकों की दो प्रमुख चुनौतियों का समाधान करती है - डेटा जहां है वहीं उस तक पहुंचने के तरीके और नई भाषाएं सीखने की जरूरत नहीं।

मिनिओ के साथ डेटा कहीं भी हो सकता है - सार्वजनिक क्लाउड इंफ्रास्ट्रक्चर, निजी क्लाउड, कुबेरनेट्स वितरण, एज।

आइये थोड़ा और गहराई में उतरें।

मिनियो और माइक्रोसॉफ्ट एसक्यूएल सर्वर 2022 संयोजन के साथ कहीं भी डेटा एक्सेस करें

Microsoft SQL Server 2022 में दो प्रमुख विशेषताएं हैं जिनका MiniIO के उपयोगकर्ता लाभ उठा सकते हैं।

सबसे पहले, यह डेटाबेस प्रशासकों को S3 API का उपयोग करके किसी भी क्लाउड वातावरण में डेटा का बैकअप लेने और पुनर्स्थापित करने में सक्षम बनाता है। दूसरा, SQL सर्वर 2022 बाहरी तालिका फ़ंक्शन का विस्तार करता है जिसे प्रारंभ में SQL सर्वर 2016 में पेश किया गया था।

बाहरी तालिकाएँ उपयोगकर्ता को उस डेटा के विरुद्ध क्वेरी चलाने की अनुमति देती हैं जो सीधे SQL सर्वर में संग्रहीत नहीं है। यह उपयोगकर्ता को SQL सर्वर को चलाने के लिए वास्तुशिल्प लचीलेपन से मुक्त करता है जहां वे चाहते हैं और अपने डेटा को जहां और कैसे संग्रहीत करना चाहते हैं, जबकि उस डेटा को बिना स्थानांतरित किए क्वेरी करने की क्षमता बनाए रखते हैं। नई बाहरी टेबल कार्यक्षमता अब इसे सभी आम तौर पर समर्थित फ़ाइल स्वरूपों के साथ-साथ Parquet और S3-ऑब्जेक्ट ओरिएंटेड स्टोरेज तक पहुंचने की अनुमति देती है।

इससे SQL सर्वर द्वारा पूछे जा सकने वाले डेटा की मात्रा में नाटकीय रूप से विस्तार होगा।

उदाहरण के लिए, EnterpriseCo Azure में SQL सर्वर चला सकता है। पहले, वे अपनी क्वेरीज़ के लिए डेटा को Azure/SQL सर्वर में ले जाते थे। अब, एंटरप्राइज़ कंपनी डेटा को कहीं भी स्थानांतरित किए बिना उस डेटा तक पहुंच सकती है। इसका मतलब यह है कि वे क्वेरीज़ पीबी आकार के डेटासेट के विरुद्ध चल सकती हैं।

वास्तुशिल्प विकल्प लगभग अनंत हो जाते हैं। SQL सर्वर को पहले से चलाएँ और क्लाउड में डेटा तक पहुँचें। SQL सर्वर को पहले से चलाएँ और निजी क्लाउड में डेटा तक पहुँचें। क्लाउड में SQL सर्वर चलाएँ और किनारे पर डेटा एक्सेस करें। मिनिआईओ और एसक्यूएल सर्वर का उपयोग करके सक्रिय-सक्रिय, मल्टी-क्लाउड प्रतिकृति के साथ एक दोष-सहिष्णु विश्लेषण प्रणाली बनाएं। प्राथमिक विचार प्रदर्शन हैं और वे SQL सर्वर और डेटा के सापेक्ष स्थानों द्वारा निर्धारित किए जाते हैं।

चाल तैनाती को अनुकूलित करने की है। सभी ऑब्जेक्ट स्टोर बाहरी तालिका सुविधा से लाभान्वित होंगे, लेकिन मिनिओ को असमान रूप से लाभ होगा। कारण सरल है, ऐसी दुनिया में जहां एंटरप्राइज़ डेटा कई क्लाउडों में वितरित किया जाता है, स्थिरता मायने रखती है। मिनिआईओ सार्वजनिक क्लाउड, निजी क्लाउड और एज पर डेटास्टोर के रूप में काम कर सकता है। सुसंगत डेटा परत के रूप में, सुरक्षा, पहुंच प्रबंधन, लचीलापन और जीवनचक्र प्रबंधन भी सुसंगत हैं। प्रदर्शन सुसंगत हो सकता है या व्यवसाय की आवश्यकताओं के अनुरूप हो सकता है - जबकि बाकी सब कुछ समान रहता है।

SQL सर्वर 2022 में ऐसा करने का तंत्र पॉलीबेस नामक डेटा वर्चुअलाइजेशन सुविधा के माध्यम से है।

पॉलीबेस उपयोगकर्ता को न केवल SQL सर्वर बल्कि अधिकांश अन्य डेटाबेस इंस्टॉलेशन (जैसे Oracle, टेराडेटा, MongoDB, आदि) और अब S3 API से सीधे Transact-SQL का उपयोग करके डेटा क्वेरी करने की अनुमति देता है। मिनिओ सभी हाइपरस्केलर क्लाउड वातावरण तक पहुंचने की अद्वितीय क्षमता प्रदान करता है। दोनों (एसक्यूएल सर्वर 2022 और मिनिओ) का संयोजन एक उद्यम को डेटा तक पहुंचने और डेटा साइलो से अंतर्दृष्टि प्राप्त करने में सक्षम बनाता है, जो अब तक खंडित थे और संयोजन करना मुश्किल था।

पॉलीबेस की एक प्रमुख विशेषता डेटा को उसके मूल स्थान और प्रारूप में रहने की अनुमति देने की क्षमता है। SQL सर्वर में किसी भी अन्य तालिका की तरह बाहरी डेटा के बारे में पूछताछ की जा सकती है। यह परिदृश्य डेटा संचलन और डेटा प्रतिकृति की आवश्यकता को कम करता है। सबसे बड़ी समस्याओं में से एक जो डेटा प्रतिकृति प्रस्तुत करती है वह है सामंजस्य, उद्यम हजारों मानव घंटे बर्बाद करते हैं और रात के आधार पर पावर मिलान डेटा की गणना करते हैं।

SQL सर्वर 2022 आपदा पुनर्प्राप्ति क्षमताओं को सक्षम करने वाले क्लाउड से डेटा की निरंतर प्रतिकृति की अनुमति देता है। मिनिओ के साथ संयोजन तेज़ डेटा को एनवीएमई आधारित तेज़ डेटा इंजन पर रहने और इसे किसी भी संख्या में धीमे स्तरों पर रखने की अनुमति देता है। ये घटक आपको ट्रांसएक्ट-एसक्यूएल या स्पार्क लाइब्रेरी का उपयोग करके बड़े डेटा को पढ़ने, लिखने और संसाधित करने में सक्षम बनाने के लिए साथ-साथ चल रहे हैं, जिससे आप अपने उच्च-मूल्य वाले संबंधपरक डेटा को गैर-संबंधपरक उच्च-मात्रा वाले बड़े डेटा के साथ आसानी से संयोजित और विश्लेषण कर सकते हैं।

इसके अतिरिक्त, SQL सर्वर 2022 सक्रिय निर्देशिका के साथ एकीकृत होता है और इसमें किसी उद्यम की सुरक्षा और अनुपालन आवश्यकताओं को पूरा करने के लिए भूमिका-आधारित पहुंच नियंत्रण शामिल होता है।

यह क्यों मायने रखता है

बाहरी तालिकाओं को जोड़ने के महत्व को बढ़ा-चढ़ाकर नहीं बताया जा सकता।

सबसे पहले, यह इस बात का सबूत है कि जब डेटा इंफ्रास्ट्रक्चर की बात आती है तो ऑब्जेक्ट स्टोरेज प्राथमिक स्टोरेज बन गया है। SAN/NAS भीड़ को यह संदेश पसंद नहीं है, लेकिन हर गुजरते सप्ताह के साथ एक अन्य प्रमुख डेटाबेस या डेटा घटक प्रथम श्रेणी के नागरिक तरीके से ऑब्जेक्ट स्टोरेज को चालू कर देता है। बहुत अधिक होल्डआउट नहीं हैं और जो होल्डआउट हैं वे इन दिनों काफी विशिष्ट दिख रहे हैं।

दूसरा, यह SQL क्वेरीज़ को पहले से कहीं अधिक बड़े डेटासेट के विरुद्ध निष्पादित करने में सक्षम बनाता है। बदले में यह मौजूदा डेटा से अधिक मूल्य और लॉन्ग-टेल या "डार्क" डेटा से नया मूल्य उत्पन्न करने की संभावना उत्पन्न करता है। SAN/NAS रिपॉजिटरी आम तौर पर कुछ पीबी पर एक दीवार से टकराती है। 10 या 100 पीबी के विरुद्ध एक क्वेरी चलाने की कल्पना करें? वह इस समय मेज पर है।

तीसरा, यह दूसरी पीढ़ी के पृथक्करण की कहानी को और मजबूत करता है जिसे हम पिछले कुछ वर्षों से देख रहे हैं। पहली पीढ़ी भंडारण और गणना को अलग करने वाली है। दूसरी, समानांतर पीढ़ी, एनालिटिक्स एप्लिकेशन लेयर (एसक्यूएल या स्प्लंक या वर्टिका) है जो स्टोरेज फ़ंक्शन से क्वेरी फ़ंक्शन को अलग करती है। यह स्पष्ट रूप से हर जगह है और क्वेरी प्लेयर्स, स्टोरेज प्लेयर्स और ग्राहकों के सर्वोत्तम हित में है। इसका मतलब यह है कि ग्राहक अपनी उपयोग-मामले की विशिष्ट आवश्यकताओं के लिए सर्वोत्तम नस्ल, विशेष स्टैक का निर्माण करेंगे। यह भंडारण पक्ष पर प्रदर्शन, लचीलापन, सुरक्षा, क्लाउड-नेटिव-नेस, स्केलेबिलिटी पर जोर देगा - जो बदले में समाधान को सॉफ्टवेयर-परिभाषित करने की मांग करेगा।

चौथा, यह उन ग्राहकों से मिलता है जहां वे मल्टी-क्लाउड के संदर्भ में हैं। ग्राहक SQL सर्वर 2022 को एक ही स्थान पर नहीं चलाना चाहते - वे इसे वहीं चलाना चाहते हैं जहाँ उनका डेटा रहता है। बाहरी तालिकाओं (और एक भागीदार के रूप में मिनियो) को जोड़ने से वह आवश्यकता पूरी होती है। ऑन-प्रिमाइसेस। जाँच करना। नीला। जाँच करना। हर दूसरा सार्वजनिक क्लाउड और कुबेरनेट्स वितरण। जाँच करना।

यह SQL सर्वर और MiniIO के लिए एक ऐतिहासिक क्षण है। हम ऊपर बताए गए सभी कारणों से गो-टू ऑब्जेक्ट स्टोर बनने जा रहे हैं और यह F500 खातों में हमारी पहले से ही गहरी पैठ का विस्तार करेगा।

ग्राहक उपयोग मामले के उदाहरण

हम इस स्तर पर बहुत अधिक विवरण में नहीं जा सकते हैं - लेकिन हमारे पास कई ग्राहक हैं जो नवंबर जीए तिथि से पहले निर्माण शुरू करने के लिए अर्ली एक्सेस विंडो का बेसब्री से इंतजार कर रहे हैं।

उदाहरण के लिए, हम जिन फॉर्च्यून100 बैंकों के साथ काम करते हैं उनमें से एक S3 स्टोरेज क्लस्टर पर बड़ी मात्रा में ग्राहक व्यवहार डेटा संग्रहीत करता है। इस डेटा से बुनियादी जानकारी प्राप्त करने के लिए सरल SQL क्वेरी चलाने के लिए उन्होंने अतीत में इस डेटा के कुछ हिस्सों को कुछ डेटाबेस में डालने और फिर इसके विरुद्ध क्वेरी चलाने की तकनीकों का उपयोग किया है। यह क्लाइंट Microsoft अर्ली एक्सेस प्रोग्राम के लिए साइन अप कर रहा है, ताकि वे इसे नए डेटाबेस इंस्टेंसेस में दोहराने की आवश्यकता के बिना अपने डेटा के विरुद्ध क्वेरी चला सकें। इससे उनका काफी समय बचेगा और डेटा मिलान का सिरदर्द भी बचेगा, जिससे ज्यादातर बैंकों को निपटना पड़ता है। इसके अलावा, यदि यह बैंक इस डेटा से अधिक परिष्कृत अंतर्दृष्टि प्राप्त करने के लिए मशीन लर्निंग तकनीकों को नियोजित करने का निर्णय लेता है, तो उनके पास एमएलओपीएस प्लेटफार्मों का लाभ उठाने की क्षमता होगी जिन्हें उनके मूल कार्यान्वयन के साथ कुबेरनेट्स क्लस्टर पर आसानी से बढ़ाया जा सकता है।

दूसरे उदाहरण में, हमारे पास एक बड़ा खुदरा ग्राहक है जिसे वितरित पॉइंट-ऑफ-सेल्स सिस्टम से जानकारी को एक केंद्रीकृत डेटास्टोर में लाने की आवश्यकता है जो सभी रात्रि गतिविधि के लिए ऑब्जेक्ट स्टोरेज प्लेटफॉर्म के रूप में मिनिओ का उपयोग करता है। फ़ाइलें लकड़ी की छत या सीएसवी प्रारूप में हो सकती हैं और बकेट में स्थानांतरित की जाती हैं। अतीत में, बिजनेस एनालिटिक्स टीमों को इस डेटा पर बैच एनालिटिक्स चलाने के लिए इस डेटा को अपने SQL सर्वर वातावरण में आयात करने की आवश्यकता होती थी। हालाँकि, SQL सर्वर 2022 की शुरुआत के साथ, इस जैसे क्लाइंट के पास MiniIO पर S3 बकेट में बैठे डेटा के विरुद्ध सीधे एनालिटिक्स चलाने की क्षमता होगी। इससे न केवल उनका समय बचेगा बल्कि डेटा प्रतिकृति और मिलान से जुड़े खर्च भी बचेंगे। उतना ही महत्वपूर्ण बात यह है कि खुदरा विक्रेता (उस मामले में कोई भी उद्यम) इस डेटा से सीधे गहरी अंतर्दृष्टि प्राप्त करने के लिए एआई/एमएल पाइपलाइनों का लाभ उठाने में सक्षम होगा। Microsoft के मामले में, रिटेलर ने गहरी ML पाइपलाइनों को चलाने के लिए Azure Synapse के साथ एकीकरण प्रदान किया है। अंतर्दृष्टि के इस स्तर को चलाने के लिए अन्य तरीके टेन्सरफ्लो, क्यूबफ्लो और पाइटोरच का लाभ उठा सकते हैं, जिनका मिनिओ के साथ प्रथम श्रेणी एकीकरण है।

क्या उम्मीद करें

आज की घोषणा के साथ, अर्ली एक्सेस विंडो खुली है। कुछ चीज़ें हैं जो इस रिलीज़ में मौजूद नहीं हैं (उदाहरण के लिए आपदा पुनर्प्राप्ति) लेकिन वे शीघ्र ही तैयार हो जाएंगी।

नवंबर में सामान्य रिलीज़ की उम्मीद है लेकिन हम अपने सभी उद्यम ग्राहकों को अभी शुरू करने के लिए प्रोत्साहित कर रहे हैं। यह विशिष्ट कार्यभार की आवश्यकताओं को पूरा करने के लिए आकार देने में मदद करेगा। कुछ ग्राहक बड़े पैमाने पर जाएंगे, अन्य इसे सैकड़ों टीबी में रखेंगे। कुंजी यह है कि ठीक से कॉन्फ़िगर किया गया है, दोनों तेजी से चलेंगे।

आगे क्या होगा

हम 12 जुलाई को DevOps.com पर ह्यूगो क्विरोज़ के साथ एक वेबिनार करने जा रहे हैं। यह संयुक्त मूल्य प्रस्ताव का एक सिंहावलोकन प्रदान करेगा और साथ-साथ चलने और यह देखने का अवसर प्रदान करेगा कि बाहरी तालिकाओं के साथ बड़े पैमाने पर चीखने के लिए SQL सर्वर 2022 को कैसे कॉन्फ़िगर किया जाए। पंजीकरण शीघ्र ही खुला होगा.

अंतरिम में, कृपया अपने किसी भी प्रश्न के लिए [email protected] पर संपर्क करने या हमारे स्लैक चैनल पर हमसे जुड़ने में संकोच न करें।