परसिस्टेंट मेट्रिक्स स्टोरेज के लिए मिनियो के साथ ग्राफाना मिमिर चलाने के लिए आपकी मार्गदर्शिका

वितरित सिस्टम में बहुत सारे गतिशील भाग होते हैं, और दृश्यता प्राप्त करने और टीमों को किसी समस्या का मूल कारण निर्धारित करने की अनुमति देने के लिए मेट्रिक्स, लॉग और ट्रेस जैसे टेलीमेट्री डेटा की निगरानी करना महत्वपूर्ण है। कई अवलोकनीय पहलों का लक्ष्य उपलब्धता और प्रदर्शन को बढ़ाना है। ग्राफाना लैब्स सबसे व्यापक रूप से उपयोग किए जाने वाले ओपन सोर्स ऑब्जर्वेबिलिटी स्टैक (विज़ुअलाइज़ेशन के लिए ग्राफाना, लॉग के लिए लोकी, मेट्रिक्स के लिए मिमिर, ट्रेस के लिए टेम्पो, अलर्ट के लिए अलर्टमैनेजर) में से एक बनाता है, और ग्राफाना क्लाउड और ग्राफाना एंटरप्राइज बेचता है।

ग्राफाना मिमिर एक AGPLv3 लाइसेंस प्राप्त ओपन सोर्स सॉफ्टवेयर प्रोजेक्ट है, जो मिनिआईओ के साथ मिलकर प्रोमेथियस मेट्रिक्स के लिए स्केलेबल, दीर्घकालिक भंडारण प्रदान करता है। मिमिर को माइक्रोसर्विसेज-आधारित आर्किटेक्चर का उपयोग करके बनाया गया था जो क्षैतिज रूप से स्केलेबल है। प्रत्येक माइक्रोसर्विस को एक घटक के रूप में संदर्भित किया जाता है, और मिमिर इन घटकों से बने एकल बाइनरी के रूप में चलता है। अधिकांश घटक स्टेटलेस हैं और पुनरारंभ के बीच किसी भी डेटा को जारी रखने की आवश्यकता नहीं है।

जब आप मिमिर और मिनिओ को जोड़ते हैं तो आप एक ऐसा बुनियादी ढांचा तैयार करते हैं जो विशेष रूप से एंटरप्राइज़ क्लाउड-नेटिव अवलोकन की जरूरतों को पूरा करने के लिए उपयुक्त है:

• प्रदर्शन: मिनियो का स्केलेबिलिटी और उच्च-प्रदर्शन का संयोजन हर कार्यभार को, चाहे कितना भी कठिन क्यों न हो, पहुंच के भीतर रखता है। मिनिओ जबरदस्त प्रदर्शन करने में सक्षम है - हाल ही में बेंचमार्क ने GETs पर 325 GiB/s (349 GB/s) और PUTs पर 165 GiB/s (177 GB/s) केवल 32 नोड्स ऑफ-द-शेल्फ NVMe SSDs के साथ हासिल किया है।

  
  

• स्केल: मिनिओ की कोई सीमा नहीं है क्योंकि यह सर्वर पूल के माध्यम से क्षैतिज रूप से स्केल करता है। प्रत्येक सर्वर पूल अपने स्वयं के कंप्यूट, नेटवर्क और स्टोरेज संसाधनों के साथ नोड्स का एक स्वतंत्र समूह है। बहु-किरायेदार कॉन्फ़िगरेशन में, प्रत्येक किरायेदार एक एकल नामस्थान में सर्वर पूल का एक समूह होता है, जो अन्य किरायेदारों के सर्वर पूल से पूरी तरह से अलग होता है। मिनिआईओ को नए सर्वर पूल पर इंगित करके क्षमता को आसानी से मौजूदा सिस्टम में जोड़ा जा सकता है और मिनिओ स्वचालित रूप से इसे तैयार करता है और इसे सेवा में रखता है।

  
  

• सरलता: यदि आप ऑब्जेक्ट स्टोरेज में घंटों बिताने के बजाय मिमिर का उपयोग करना चाहते हैं, तो आपको मिनिओ से अधिक सीधा समाधान नहीं मिल सकता है। मिनियो केवल वस्तुओं की सेवा करता है - यह सब हम करते हैं और हम सर्वश्रेष्ठ बनने के प्रति जुनूनी हैं। अन्य उत्पाद ऑब्जेक्ट और फ़ाइल स्टोरेज को जोड़ते हैं, जिसके परिणामस्वरूप कई स्टोरेज परतें बनती हैं जो मिमिर की क्वेरी प्रतिक्रिया समय में विलंबता लाती हैं और विफलता की अधिक संभावना के साथ अधिक जटिल आर्किटेक्चर बनाती हैं।

  
  

• मल्टी-क्लाउड: मिनिओ, क्लाउड में पैदा हुआ, हार्डवेयर और सॉफ्टवेयर के किसी भी संयोजन पर कहीं भी चलता है। एकीकरण के एक समृद्ध सेट का मतलब है कि मिनिओ पारदर्शी रूप से पहचान प्रबंधन, एन्क्रिप्शन कुंजी प्रबंधन और बहुत कुछ को केंद्रीकृत करने के लिए मौजूदा सुरक्षा और प्रबंधन उपकरणों और सेवाओं में प्लग करता है। मिनिओ बेयरमेटल या कुबेरनेट्स के किसी भी संस्करण पर एस 3 एपीआई संगत ऑब्जेक्ट स्टोरेज प्रदान करता है - जिसमें जीकेई, ईकेएस, एकेएस, रेड हैट ओपनशिफ्ट, वीएमवेयर तंजु शामिल है - और सक्रिय-सक्रिय प्रतिकृति का उपयोग करके डेटा को कुशलतापूर्वक सिंक्रनाइज़ करता है।

  
  

ग्राफाना मिमिर की कुछ मुख्य शक्तियों में शामिल हैं:

• स्थापित करने और बनाए रखने में आसान: ग्राफाना मिमिर के व्यापक दस्तावेज़ीकरण, ट्यूटोरियल और परिनियोजन टूलींग इसे आरंभ करने में त्वरित बनाते हैं। इसके मोनोलिथिक मोड का उपयोग करके, आप ग्राफाना मिमिर को केवल एक बाइनरी और बिना किसी अतिरिक्त निर्भरता के चला सकते हैं। एक बार तैनात होने के बाद, ग्राफाना मिमिर के साथ पैक किए गए सर्वोत्तम अभ्यास वाले डैशबोर्ड, अलर्ट और प्लेबुक सिस्टम के स्वास्थ्य की निगरानी करना आसान बनाते हैं।

  
  

• बड़े पैमाने पर स्केलेबिलिटी: आप ग्राफाना मिमिर के क्षैतिज-स्केलेबल आर्किटेक्चर को कई मशीनों पर चला सकते हैं, जिसके परिणामस्वरूप एकल प्रोमेथियस उदाहरण की तुलना में अधिक समय श्रृंखला के परिमाण के आदेशों को संसाधित करने की क्षमता होती है। आंतरिक परीक्षण से पता चलता है कि ग्राफाना मिमिर 1 बिलियन सक्रिय समय श्रृंखला को संभालता है।

  
  

• मेट्रिक्स का वैश्विक दृश्य: ग्राफाना मिमिर आपको उन प्रश्नों को चलाने में सक्षम बनाता है जो कई प्रोमेथियस उदाहरणों से श्रृंखला को एकत्रित करते हैं, जिससे आपको अपने सिस्टम का वैश्विक दृश्य मिलता है। इसका क्वेरी इंजन बड़े पैमाने पर क्वेरी निष्पादन को समानांतर बनाता है, ताकि उच्चतम-कार्डिनैलिटी क्वेरीज़ भी तेज गति से पूरी हो सकें।

  
  

• सस्ता, टिकाऊ मीट्रिक भंडारण: ग्राफाना मिमिर दीर्घकालिक डेटा भंडारण के लिए ऑब्जेक्ट स्टोरेज का उपयोग करता है, जिससे यह इस सर्वव्यापी, लागत प्रभावी, उच्च-स्थायित्व तकनीक का लाभ उठा सकता है। यह AWS S3, Google क्लाउड स्टोरेज, Azure ब्लॉब स्टोरेज, ओपनस्टैक स्विफ्ट, साथ ही किसी भी S3-संगत ऑब्जेक्ट स्टोरेज सहित कई ऑब्जेक्ट स्टोर कार्यान्वयन के साथ संगत है।

  
  

• उच्च उपलब्धता: ग्राफाना मिमिर आने वाले मेट्रिक्स को दोहराता है, यह सुनिश्चित करता है कि मशीन विफलता की स्थिति में कोई डेटा खो न जाए। इसकी क्षैतिज रूप से स्केलेबल वास्तुकला का अर्थ यह भी है कि इसे शून्य डाउनटाइम के साथ पुनः आरंभ, अपग्रेड या डाउनग्रेड किया जा सकता है, जिसका अर्थ है कि मेट्रिक्स अंतर्ग्रहण या क्वेरी में कोई रुकावट नहीं है।

  
  

• मूल रूप से बहु-किरायेदार: ग्राफाना मिमिर की बहु-किरायेदार वास्तुकला आपको स्वतंत्र टीमों या व्यावसायिक इकाइयों से डेटा और प्रश्नों को अलग करने में सक्षम बनाती है, जिससे इन समूहों के लिए एक ही क्लस्टर साझा करना संभव हो जाता है। उन्नत सीमाएँ और सेवा की गुणवत्ता नियंत्रण सुनिश्चित करते हैं कि क्षमता किरायेदारों के बीच उचित रूप से साझा की जाती है।

मिमिर को सबसे अधिक स्केलेबल, सबसे अधिक प्रदर्शन करने वाला ओपन सोर्स टाइम सीरीज़ डेटाबेस उपलब्ध होने के लिए विकसित किया गया था । मिमिर आसानी से 1 बिलियन मेट्रिक्स और उससे आगे तक पहुंच जाता है, तेज क्वेरी प्रदर्शन के साथ जो कि कॉर्टेक्स की तुलना में 40 गुना तेज है, टीएसडीबी मिमिर को बदलने के लिए बनाया गया था। कॉर्टेक्स 2018 से एक सीएनसीएफ परियोजना है और प्रोमेथियस मेट्रिक्स को संग्रहीत करने के लिए इसका व्यापक रूप से उपयोग किया जाता है। मिमिर बनाते समय, ग्राफाना लैब्स ने AGPLv3 लाइसेंसिंग, एक्सेस नियंत्रण और बेहतर प्रदर्शन, स्केलेबिलिटी और उपलब्धता के साथ उद्यम-तैयार अवलोकन के लिए आधार तैयार किया।

ग्राफाना लैब्स का मिमिर के लिए एक लक्ष्य है: मेट्रिक्स प्रारूप की परवाह किए बिना सबसे अच्छा स्केलेबल टाइम सीरीज़ डेटाबेस बनना। उद्यमों को मौजूदा कोड को संशोधित किए बिना प्रोमेथियस मेट्रिक्स (और अन्य विक्रेताओं के सहयोग से अन्य मेट्रिक्स) का उपभोग करने में सक्षम होना चाहिए।

अब जब हमने जान लिया है कि मिमिर क्या है, तो आइए एक परिचयात्मक ट्यूटोरियल देखें।

ग्राफाना मिमिर और मिनिओ ट्यूटोरियल

यह ट्यूटोरियल मौजूदा ट्यूटोरियल, प्ले विद ग्राफाना मिमिर पर आधारित है, यह दिखाने के लिए कि डॉकर का उपयोग करके मिमिर के साथ शुरुआत करना कितना आसान है।

Git कमांड लाइन का उपयोग करके ग्राफाना मिमिर रिपॉजिटरी की एक प्रति बनाएं:

 git clone https://github.com/grafana/mimir.git

ट्यूटोरियल निर्देशिका पर जाएँ:

 cd mimir/docs/sources/tutorials/play-with-grafana-mimir/

मिनियो, मिमिर, प्रोमेथियस, ग्राफाना और एनजीआईएनएक्स प्रारंभ करें

 docker compose up

इससे निम्नलिखित सामने आएगा:

• ग्राफाना मिमिर - उच्च उपलब्धता के लिए मिमिर के तीन उदाहरण। बहु-किरायेदारी सक्षम है (किरायेदार आईडी डेमो है)।
• प्रोमेथियस - मिमिर मेट्रिक्स को स्क्रैप करता है, फिर उन्हें वापस मिमिर को लिखता है ताकि वे उपलब्ध हों
• MiniIO - S3-संगत सॉफ्टवेयर ब्लॉक, नियमों और अलर्ट के लिए लगातार भंडारण को परिभाषित करता है
• ग्राफाना - इसमें मिमिर को क्वेरी करने के लिए पूर्व-स्थापित डेटास्रोत और मिमिर की निगरानी के लिए पूर्व-स्थापित डैशबोर्ड शामिल हैं
• लोड बैलेंसर - एनजीआईएनएक्स-आधारित लोड बैलेंसर जो मिमिर उदाहरणों को उजागर करता है

निम्नलिखित पोर्ट का उपयोग किया जाता है:

• ग्राफाना: http://localhost:9000

• ग्राफाना मिमिर: http://localhost:9009 ।

  
  

  हमारे ट्यूटोरियल के घटक इस प्रकार एक साथ चलते हैं:

यदि आप इस ट्यूटोरियल में प्रयुक्त किसी कॉन्फ़िगरेशन के बारे में गहराई से जानना चाहते हैं, तो कृपया सहेजी गई YAML फ़ाइलें देखें

 ~/mimir/docs/sources/tutorials/play-with-grafana-mimir/config/ 

ग्राफाना तक पहुंचने के लिए, एक ब्राउज़र लॉन्च करें और http://localhost:9000 खोलें। आप मिमिर क्लस्टर की स्थिति प्रदर्शित करने वाले डैशबोर्ड देखने के लिए ग्राफाना का उपयोग करेंगे। डैशबोर्ड मिमिर से उनके द्वारा प्रदर्शित मेट्रिक्स के लिए पूछताछ करते हैं। शीर्ष बाईं ओर स्थित मेनू से, डैशबोर्ड पर क्लिक करें, फिर ट्यूटोरियल के लिए पहले से लोड किए गए डैशबोर्ड को देखने के लिए ब्राउज़ करें। ये डैशबोर्ड ग्राफाना मिमिर मिक्सिन से हैं, जो ग्राफाना लैब्स के सर्वोत्तम अभ्यास डैशबोर्ड, रिकॉर्डिंग नियमों और मिमिर की निगरानी के लिए अलर्ट को एक साथ पैकेज करते हैं।

ग्राफाना डैशबोर्ड में प्रदर्शित होने वाले मेट्रिक्स के लिए हमारे ट्यूटोरियल कंटेनर लॉन्च करने के बाद आमतौर पर 3-5 मिनट लगते हैं। हम मिमिर को इनग्रेस गेटवे, क्वेरी-शेड्यूलर या मेमकैच्ड के बिना भी चला रहे हैं, इसलिए संबंधित डैशबोर्ड खाली होंगे।

मिमिर सीखने के इस शुरुआती चरण में, लिखने, पढ़ने, क्वेरी और ऑब्जेक्ट स्टोर के लिए डैशबोर्ड ब्राउज़ करके शुरुआत करें। उदाहरण के लिए, ऑब्जेक्ट स्टोर डैशबोर्ड उन ऑपरेशनों को दिखाता है जो मिमिर को लाने के बाद से हुए हैं।

रिकॉर्डिंग नियम कॉन्फ़िगर करें

रिकॉर्डिंग नियम एक ऐसा तंत्र है जो अक्सर आवश्यक या कम्प्यूटेशनल रूप से महंगे अभिव्यक्तियों की पूर्व-गणना करता है और परिणाम को समय श्रृंखला के एक नए सेट के रूप में सहेजता है। ग्राफाना का उपयोग करके मिमिर में रिकॉर्डिंग नियम को कॉन्फ़िगर करने के लिए इन निर्देशों का पालन करें।

यह sum:up रिकॉर्डिंग नियम मिमिर उदाहरणों की संख्या प्रदर्शित करेगा जो स्क्रैप किए जाने के लिए उपलब्ध हैं और पहुंच योग्य हैं। एक बार नियम बन जाने के बाद, यह पूछताछ और डैशबोर्ड में शामिल करने के लिए उपलब्ध होगा।

बाएं टूलबार से अलर्टिंग मेनू खोलें और "नया अलर्ट नियम" पर क्लिक करें:

रिकॉर्डिंग नियम को कॉन्फ़िगर करने के लिए निम्नलिखित दर्ज करें:

1. Mimir or Loki recording rule चुनें
2. निम्नलिखित कॉन्फ़िगर करें:
3. नियम का नाम = sum:up
4. डेटा स्रोत चुनें फ़ील्ड में मिमिर चुनें
5. नेमस्पेस = example-namespace
6. समूह = example-group
7. प्रश्न अभिव्यक्ति = sum(up)
8. ऊपरी दाएं कोने में सहेजें और बाहर निकलें चुनें।

यह सत्यापित करने के लिए कि आपका नया रिकॉर्डिंग नियम सही ढंग से चलता है, बाएं हाथ के मेनू से एक्सप्लोर खोलें:

मीट्रिक ड्रॉपडाउन में, sum:up चुनें, फिर ऊपर दाईं ओर से रन क्वेरी पर क्लिक करें, फिर इंस्पेक्टर बटन पर क्लिक करें। नीचे, समय और क्वेरी परिणामों की सूची देखने के लिए डेटा पर क्लिक करें। परिणाम "3" होना चाहिए, यह दर्शाता है कि मिमिर के तीन स्थानीय उदाहरण चालू हैं।

एक चेतावनी नियम कॉन्फ़िगर करें

मिमिर पर बनाए गए चेतावनी नियम उसी प्रोमक्यूएल प्रारूप का पालन करते हैं जो प्रोमेथियस और लोकी पर बनाए गए हैं। ग्राफाना अभिव्यक्ति का मूल्यांकन करता है और, यदि आवश्यक हो, अलर्टमैनेजर का उपयोग करके अलर्ट सक्रिय करता है। हमने पहले के ब्लॉग पोस्ट, मल्टी-क्लाउड मॉनिटरिंग एंड अलर्टिंग विद प्रोमेथियस एंड ग्राफाना में इस पर काफी गहराई से विचार किया था।

हम एक अलर्ट बनाने जा रहे हैं जो तब सक्रिय होगा जब मिमिर उदाहरणों की संख्या तीन से कम हो जाएगी।

बाएं हाथ के मेनू में, अलर्टिंग पर होवर करें और फिर न्यू अलर्ट नियम पर क्लिक करें।

1. Mimir or Loki alert चुनें
2. निम्नलिखित कॉन्फ़िगर करें:
3. नियम का नाम = MimirNotRunning
4. डेटा स्रोत चुनें फ़ील्ड में Mimir चुनें
5. नेमस्पेस = example-namespace
6. समूह = example-group
7. प्रश्न अभिव्यक्ति = up == 0
8. ऊपरी दाएं कोने में सहेजें और बाहर निकलें चुनें।

अलर्टिंग पेज पर जाएँ और आपको हमारा मिमिर रिकॉर्डिंग नियम और अलर्ट नियम दिखाई देगा। ध्यान दें कि अलर्ट के बगल में एक अच्छी, बड़ी, आरामदायक हरी सामान्य स्थिति दिखाई गई है क्योंकि हमारे सभी मिमिर कंटेनर अभी भी चल रहे हैं।

हम तीन मिमिर उदाहरणों में से एक को समाप्त करके एक त्रुटि स्थिति का अनुकरण करेंगे (सुनिश्चित करें कि आप ~/mimir/docs/sources/tutorials/play-with-grafana-mimir निर्देशिका में हैं:

 docker compose kill mimir-3

जैसे ही हमने मिमिर उदाहरण को अचानक समाप्त कर दिया, एक संक्षिप्त अवधि होगी जहां ग्राफाना नियमों की क्वेरी करते समय एक त्रुटि दिखाता है। जैसे ही मिमिर की आंतरिक स्वास्थ्य जांच में समाप्त किए गए उदाहरण को अस्वस्थ पाया जाएगा, यह स्वचालित रूप से हल हो जाएगा।

लगभग एक मिनट में, अलर्ट जल्द ही एक पीले रंग की लंबित स्थिति का संकेत देगा।

एक और मिनट के बाद, अलर्ट लाल फायरिंग स्थिति में बदल जाएगा:

यदि हमने अलर्टमैनेजर को अधिसूचना चैनलों के साथ कॉन्फ़िगर किया होता, तो अलर्ट उचित तंत्र और संपर्क पर सक्रिय हो जाते। निर्देशों के लिए कृपया प्रोमेथियस और ग्राफाना के साथ मल्टी-क्लाउड मॉनिटरिंग और अलर्टिंग देखें।

इससे पहले कि हम अपने समाप्त किए गए मिमिर इंस्टेंस को वापस लाएं, ग्राफाना में एक्सप्लोर पेज पर लौटें और हमारे sum:up रिकॉर्डिंग नियम पर सवाल उठाएं। हम देख सकते हैं कि मिमिर का उदाहरण डाउन होने के बावजूद मिमिर ने मेट्रिक्स रिकॉर्ड करना जारी रखा।

अंत में, मिमिर उदाहरण को वापस लाएँ:

 docker compose start mimir-3

चेतावनी पृष्ठ पर वापस लौटें और ध्यान दें कि हमारी चेतावनी स्थिति वापस सामान्य हो गई है।

निष्कर्ष

इस ट्यूटोरियल में, आपने सीखा कि ग्राफाना मिमिर और मिनिओ को उच्च-उपलब्धता कॉन्फ़िगरेशन में कैसे चलाया जाए। हमने मिमिर से ही प्रोमेथियस मेट्रिक्स का उपभोग किया, फिर ग्राफाना में पूछताछ की और उनकी कल्पना की। हमने एक रिकॉर्डिंग नियम और एक अलर्ट भी कॉन्फ़िगर किया और सत्यापित किया कि शर्त पूरी होने पर अलर्ट अपेक्षित रूप से सक्रिय हो गया।

आप मिनिओ से प्रोमेथियस मेट्रिक्स को स्क्रैप करने और अलर्टमैनेजर के माध्यम से फायर अलर्ट के लिए मिमिर और ग्राफाना को भी कॉन्फ़िगर कर सकते हैं। मिमिर दृढ़ता के लिए डेटा को ऑब्जेक्ट स्टोरेज में संग्रहीत करता है, जिससे यह सर्वव्यापी, लागत प्रभावी और उच्च-स्थायित्व वाले मिनिओ का लाभ उठा सकता है।

ग्राफाना मिमिर को आज़माएं! यदि आपके कोई प्रश्न हैं, तो कृपया हमारे स्लैक चैनल से जुड़ें या हमें [email protected] पर एक ईमेल भेजें।