ऑडिटेबल और ऑपरेशनल उपयोग डेटा के बीच अंतर

एआई को अपनाने के साथ, उपयोग एट्रिब्यूशन और चार्जबैक उपयोग के मामले बढ़ रहे हैं। आधुनिक व्यवसाय भी बिलिंग, बिक्री, उत्पाद विकास और क्लाउड लागत विश्लेषण को चलाने के लिए अपने ग्राहकों और आंतरिक विभागों को उपयोग डेटा इकट्ठा करने और सौंपने के लिए उत्सुक हैं।

फिनऑप्स फाउंडेशन ने हाल ही में अपने FOCUS (ओपन कॉस्ट एंड यूसेज स्पेसिफिकेशन) के शुरुआती ड्राफ्ट का भी अनावरण किया। उपयोग डेटा जटिल क्यों हो सकता है, और समय श्रृंखला मेट्रिक्स से इवेंट मीटरिंग में क्या अंतर है?

उपयोग डेटा उपयोग के मामले

बिलिंग, विश्लेषण और उपयोग के मामलों की निगरानी की जटिलताओं में जाने से पहले, आइए परिभाषित करें कि उपयोग डेटा से हमारा क्या मतलब है। उपयोग किसी समय अवधि में किसी वस्तु का उपभोग करने का वर्णन करता है। उदाहरण के लिए, दोपहर 1 बजे से 2 बजे के बीच, ऐलिस ने ट्विलियो एपीआई के माध्यम से 100 एसएमएस भेजे।

उपयोग को आम तौर पर एक तारीख के बजाय एक समयावधि के लिए वर्णित किया जाता है क्योंकि कंप्यूटर तेज़ हैं, लेकिन मनुष्य धीमे हैं। आइए उपयोग डेटा की आवश्यकता वाले कुछ सामान्य उपयोग के मामलों पर नज़र डालें:

बिलिंग: इसके लिए सटीक उपयोग डेटा की आवश्यकता होती है क्योंकि ग्राहकों से कानूनी रूप से बाध्यकारी अनुबंध शर्तों के आधार पर शुल्क लिया जाता है। जबकि डेटा आयाम अक्सर सीमित होते हैं, प्रमुखता अधिक होती है क्योंकि प्रत्येक ग्राहक के लिए उपयोग डेटा को ट्रैक किया जाना चाहिए।

रीयल-टाइम डेटा वैकल्पिक है, लेकिन जब कोई उपयोगकर्ता बिलिंग सीमा तक पहुंचता है तो त्वरित सूचनाओं की आवश्यकता होती है। बिलों को मान्य करने के लिए डेटा प्रतिधारण महत्वपूर्ण है, हालाँकि चालान का निपटान हो जाने के बाद यह कम महत्वपूर्ण हो जाता है।

निगरानी: इसके लिए चेतावनी उद्देश्यों के लिए वास्तविक समय के उपयोग डेटा की आवश्यकता होती है। सटीकता महत्वपूर्ण है लेकिन बिलिंग की तुलना में अधिक लचीली है। निगरानी प्रणालियाँ अक्सर कार्डिनैलिटी के आसपास सीमित होती हैं।

बड़ी मात्रा में निगरानी डेटा संग्रहीत करने की लागत के कारण डेटा प्रतिधारण आमतौर पर कम होता है, जिसका उपयोग कुछ हफ्तों के बाद शायद ही कभी किया जाता है।

एनालिटिक्स: क्लाउड लागत, मार्जिन विश्लेषण और मूल्य निर्धारण जैसे विशिष्ट उपयोग के मामलों में मॉडल को प्रशिक्षित करने और रुझानों को प्रभावी ढंग से पहचानने के लिए पिछले तीन से पांच वर्षों के सटीक ऐतिहासिक डेटा की आवश्यकता होती है। एनालिटिक्स शायद ही कभी वास्तविक समय का होता है।

एक तालिका के रूप में संक्षेपित:

जैसा कि आप देख सकते हैं, प्रत्येक उपयोग के मामले की अलग-अलग ज़रूरतें होती हैं, जो उपयोग डेटा पर चर्चा करते समय भ्रमित करने वाली हो सकती हैं।

ऑडिटेबल और ऑपरेशनल डेटा को समझना

डेटा को ऑडिटेबल या ऑपरेशनल के रूप में वर्गीकृत करने की अवधारणा पहली बार 2018 में हनीकॉम्ब.आईओ के सह-संस्थापक चैरिटी मेजर्स के एक ट्वीट के माध्यम से मेरे ध्यान में लाई गई थी।

ऑडिट योग्य डेटा को इस प्रकार वर्गीकृत किया जाता है जब किसी डेटा रिकॉर्ड का नुकसान असहनीय होता है, और रिकॉर्ड का पूर्ण प्रतिधारण आवश्यक होता है। ऑडिट योग्य डेटासेट का उपयोग करते समय, इसके व्यापक और पूर्ण होने की उम्मीद की जाती है।

ऑडिट योग्य डेटा के उदाहरणों में लेनदेन लॉग, प्रतिकृति लॉग और बिलिंग/वित्त ईवेंट शामिल हैं।

इसके विपरीत, परिचालन डेटा को सख्त पूर्णता की आवश्यकता नहीं होती है। प्रबंधनीय लागत को बनाए रखने के लिए, नमूनाकरण को अक्सर नियोजित किया जाता है, और कुछ हद तक डेटा हानि स्वीकार्य है।

परिचालन डेटा को प्रबंधित करने के लिए डिज़ाइन किए गए उपकरण अक्सर प्रयास दक्षता को प्राथमिकता देते हैं, पुनः प्रयास और बिल्कुल एक डिलीवरी की महंगी गारंटी को दरकिनार कर देते हैं। परिचालन डेटा के उदाहरणों में टेलीमेट्री, मेट्रिक्स और प्रासंगिक डेटा शामिल हैं जो प्रत्येक अनुरोध और सिस्टम घटक का वर्णन करते हैं।

अपने उपयोग डेटा को एकत्र करने, संसाधित करने और संग्रहीत करने की पद्धति पर निर्णय लेने से पहले, यह निर्धारित करना महत्वपूर्ण है कि आपके डेटा को ऑडिट योग्य या परिचालन योग्य होना चाहिए या नहीं।

निम्नलिखित अनुभाग में, हम दो डेटा संग्रह रणनीतियों की तुलना करेंगे: इवेंट-संचालित मीटरिंग, आम तौर पर श्रव्य उपयोग के मामलों के लिए बेहतर अनुकूल, और समय-श्रृंखला निगरानी, परिचालन उपयोग डेटा एकत्र करने के लिए पसंदीदा तरीका।

इवेंट-संचालित मीटरिंग बनाम टाइम-सीरीज़ मेट्रिक्स

उपयोग डेटा एकत्र करने के दो मुख्य तरीके हैं:

1. घटना-संचालित पैमाइश और

   
   

2. समय-श्रृंखला निगरानी प्रणाली ।

   
   

यहां बताया गया है कि वे कैसे तुलना करते हैं:

इवेंट-संचालित मीटरिंग: उपयोग-आधारित बिलिंग कंपनियां इस दृष्टिकोण का समर्थन करती हैं क्योंकि अद्वितीय घटनाओं को संभालने में इसकी अंतर्निहित स्थिरता के कारण यह ऑडिट योग्य है। इवेंट को वितरित सिस्टम में डबल-डिलीवर किया जा सकता है और अधिक या कम बिलिंग को रोकने के लिए अद्वितीय पहचानकर्ताओं का उपयोग करके डुप्लिकेट किया जा सकता है।

मीटरिंग उच्च कार्डिनैलिटी से अच्छी तरह निपटती है, जो प्रत्येक ग्राहक के उपयोग को ट्रैक करने के लिए आवश्यक है। हालाँकि, चुनौती डेटा संग्रह में है। उद्योग के पास निगरानी के लिए मजबूत बुनियादी ढांचा संग्राहक हैं, लेकिन इन्हें घटनाओं के अलावा किसी और चीज को ध्यान में रखकर डिजाइन किया गया था।

अधिकांश विक्रेता इवेंट सबमिशन के लिए एक POST API प्रदान करते हैं, जिससे संग्रह प्रक्रिया उपयोगकर्ता पर निर्भर हो जाती है।

समय-श्रृंखला निगरानी: समय-श्रृंखला परिचालन डेटा के रूप में मेट्रिक्स को संग्रहीत और आपूर्ति करने के लिए प्रोमेथियस स्क्रैप काउंटर और हिस्टोग्राम जैसी निगरानी प्रणाली।

कार्डिनैलिटी को कम रखने की सलाह दी जाती है, जिससे बड़े पैमाने पर व्यक्तिगत उपयोगकर्ता संसाधन खपत को ट्रैक करना मुश्किल हो जाता है। मेट्रिक्स संग्रह उद्योग में एक अच्छी तरह से प्रशस्त मार्ग है, जिसमें अधिकांश बुनियादी ढांचे के घटकों के लिए आउट-ऑफ-द-बॉक्स मेट्रिक्स एक्सट्रैक्टर्स उपलब्ध हैं।

एपीएम विक्रेताओं ने डेटा संग्रह को सुव्यवस्थित करने के लिए ओपनटेलीमेट्री जैसे मानकों में महत्वपूर्ण निवेश किया है। चुनौती डिलीवरी और डिडुप्लीकेशन के आसपास मेट्रिक्स कलेक्टर की सीमित गारंटी में निहित है क्योंकि उन्हें परिचालन डेटा उपयोग के मामलों को ध्यान में रखकर डिजाइन किया गया था।

प्रोमेथियस योगदानकर्ता यहां सटीकता के बारे में कुछ विचार साझा करते हैं। यदि आप गहराई से जानना चाहते हैं, तो आप यहां काउंटर सटीकता बढ़ाने के लिए स्क्रैपिंग को समायोजित करने के बारे में कुछ बहस भी पा सकते हैं।

एक तालिका के रूप में संक्षेपित:

उपयोग का भविष्य: समेकन

वर्तमान चुनौती उपयोग डेटा एकत्र करने और एकीकृत करने में है। ये कार्य जटिल हैं क्योंकि उपयोग संग्रह में प्रत्येक उपयोग के मामले में सटीकता, प्रमुखता और वास्तविक समय के पहलुओं को अलग-अलग संतुलित करना चाहिए (जैसा कि घटनाओं बनाम मेट्रिक्स तुलना में दिखाया गया है), जबकि उपयोग विनिर्देश मानक की आवश्यकता के कारण एकीकरण में समय लगता है।

बस सभी कस्टम विक्रेता एपीआई या सामान्य प्रोमक्यूएल इंटरफ़ेस के बारे में सोचें। समेकन की यह कमी उपयोग डेटा को बिलिंग, चार्जबैक और लागत विश्लेषण उपयोग मामलों में एकीकृत करने में कठिनाइयां पैदा करती है, जिसके परिणामस्वरूप अक्सर उपयोग डेटा संग्रह के लिए एक-दूसरे के बीच साझा करने के बजाय अलग-अलग सिस्टम होते हैं।

फिनऑप्स का फोकस: उपयोग एकीकरण के लिए एक नई विशिष्टता

फिनऑप्स द्वारा FOCUS (ओपन कॉस्ट एंड यूसेज स्पेसिफिकेशन) का उद्देश्य उपयोग डेटा की एकीकरण चुनौतियों का समाधान करना है। FOCUS क्लाउड प्रदाताओं और SaaS विक्रेताओं द्वारा सामान्यीकृत उपयोग और बिलिंग डेटा के उत्पादन और उपभोग के लिए एक विनिर्देश की रूपरेखा तैयार करता है।

FOCUS आपको बिलिंग और क्लाउड लागत विश्लेषण उपयोग के मामलों के लिए विक्रेताओं के बीच उपयोग डेटा को सहजता से एकीकृत करने की अनुमति देगा।

फोकस विनिर्देश वर्तमान में विकासाधीन है; 0.5 पूर्वावलोकन संस्करण अभी जून 2023 के अंत में जारी किया गया था, और विनिर्देश वर्तमान में उपयोग डेटा की तुलना में बिलिंग पर अधिक केंद्रित है।

आप यहां FOCUS कार्य समूह का अनुसरण कर सकते हैं या उसमें शामिल हो सकते हैं।

सटीकता, प्रमुखता और समयबद्धता में सामंजस्य स्थापित करना

मैं इवेंट मीटरिंग और मेट्रिक्स सिस्टम के अभिसरण की आशा नहीं करता क्योंकि वे प्रत्येक अपने उपयोग के मामलों को पूरा करने के लिए अलग-अलग व्यवसाय और इंजीनियरिंग ट्रेड-ऑफ को संतुलित करते हैं। जरा ऑडिटेबल और ऑपरेशनल डेटा के बीच अंतर के बारे में सोचें।

लेकिन मैं फिनऑप्स के फोकस जैसे विक्रेताओं के बीच उपयोग डेटा को एकीकृत करने के मानकों पर अभिसरण की उम्मीद करता हूं।

हमें आपके इनपुट की आवश्यकता है. क्या ओपनमीटर को मेट्रिक्स को शामिल करना चाहिए और बिलिंग और चार्जबैक उपयोग के मामलों को सुव्यवस्थित करने के लिए प्रोमेथियस के साथ एकीकृत करना चाहिए?

हमें हमारे ओपन-सोर्स रिपॉजिटरी में बताएं: https://github.com/openmeterio/openmeter