पुनर्प्राप्ति-संवर्धित पीढ़ी: एआई मतिभ्रम दूर हो गया!

एआई की तेजी से विकसित हो रही दुनिया में, बड़े भाषा मॉडल ने एक लंबा सफर तय किया है, जो हमारे आसपास की दुनिया के बारे में प्रभावशाली ज्ञान का दावा करता है। अभी तक एलएलएम वे जितने बुद्धिमान होते हैं, अक्सर अपने स्वयं के ज्ञान की सीमाओं को पहचानने के लिए संघर्ष करते हैं, एक कमी जो अक्सर उन्हें अंतराल को भरने के लिए "मतिभ्रम" की ओर ले जाती है। एक नव विकसित तकनीक, जिसे के नाम से जाना जाता है पुनर्प्राप्ति संवर्धित पीढ़ी (आरएजी), इन एलएलएम के ज्ञान को कुशलतापूर्वक बढ़ाने और मालिकाना डेटा के साथ संवर्धित संकेतों को सक्षम करके मतिभ्रम के प्रभाव को कम करने का वादा दिखाता है।

एलएलएम में ज्ञान अंतर को कम करना

एलएलएम कंप्यूटर मॉडल हैं जो मानव-जैसे पाठ को समझने और उत्पन्न करने में सक्षम हैं। वे आपके डिजिटल असिस्टेंट, ऑटोकरेक्ट फ़ंक्शन और यहां तक कि आपके कुछ ईमेल के पीछे एआई हैं। दुनिया के बारे में उनका ज्ञान अक्सर बहुत बड़ा होता है, लेकिन यह संपूर्ण नहीं होता है। इंसानों की तरह, एलएलएम अपने ज्ञान की सीमा तक पहुंच सकते हैं, लेकिन रुकने के बजाय, वे कार्य को पूरा करने के लिए शिक्षित अनुमान लगाते हैं या "मतिभ्रम" करते हैं। इससे ऐसे परिणाम सामने आ सकते हैं जिनमें गलत या भ्रामक जानकारी हो।

एक साधारण दुनिया में, इसका उत्तर मॉडल को प्रासंगिक मालिकाना जानकारी ठीक उसी समय प्रदान करना होगा, जब इसकी आवश्यकता होती है, ठीक उसी समय जब क्वेरी की जाती है। लेकिन यह निर्धारित करना कि कौन सी जानकारी "प्रासंगिक" है, हमेशा सरल नहीं होती है और इसके लिए यह समझने की आवश्यकता होती है कि एलएलएम को क्या पूरा करने के लिए कहा गया है। यहीं पर आरएजी खेल में आता है।

एम्बेडिंग मॉडल और वेक्टर समानता खोज की शक्ति

एआई की दुनिया में एंबेडिंग मॉडल अनुवादकों की तरह काम करते हैं। वे "दस्तावेज़ एन्कोडिंग" नामक प्रक्रिया के माध्यम से टेक्स्ट दस्तावेज़ों को संख्याओं की एक बड़ी सूची में बदल देते हैं। यह सूची दस्तावेज़ के अर्थ की एलएलएम की आंतरिक "समझ" का प्रतिनिधित्व करती है। संख्याओं की इस स्ट्रिंग को वेक्टर के रूप में जाना जाता है: डेटा के एक टुकड़े की विशेषताओं का एक संख्यात्मक प्रतिनिधित्व। प्रत्येक डेटा बिंदु को कई संख्यात्मक मानों के साथ एक वेक्टर के रूप में दर्शाया जाता है, जहां प्रत्येक मान डेटा की एक विशिष्ट सुविधा या विशेषता से मेल खाता है।

हालाँकि संख्याओं की एक श्रृंखला औसत व्यक्ति के लिए अर्थहीन लग सकती है, ये संख्याएँ उच्च-आयामी स्थान में निर्देशांक के रूप में काम करती हैं। उसी तरह जिस तरह अक्षांश और देशांतर भौतिक स्थान में किसी स्थान का वर्णन कर सकते हैं, संख्याओं की यह स्ट्रिंग सिमेंटिक स्पेस में मूल पाठ के स्थान, सभी संभावित अर्थों के स्थान का वर्णन करती है।

इन संख्याओं को निर्देशांक के रूप में मानने से हमें दो दस्तावेज़ों के बीच अर्थ में समानता मापने में मदद मिलती है। यह माप सिमेंटिक स्पेस में उनके संबंधित बिंदुओं के बीच की दूरी के रूप में लिया जाता है। एक छोटी दूरी अर्थ में अधिक समानता का संकेत देगी, जबकि एक बड़ी दूरी सामग्री में असमानता का संकेत देगी। नतीजतन, किसी क्वेरी से संबंधित जानकारी को सिमेंटिक स्पेस में क्वेरी के "नजदीक" दस्तावेज़ों की खोज करके खोजा जा सकता है। यह वेक्टर समानता खोज का जादू है।

पुनर्प्राप्ति संवर्धित पीढ़ी के पीछे का विचार

RAG एक __जेनरेटिव AI __आर्किटेक्चर है जो किसी क्वेरी से संबंधित जानकारी को स्वचालित रूप से खोजने के लिए सिमेंटिक समानता लागू करता है।

RAG प्रणाली में, आपके दस्तावेज़ एक वेक्टर डेटाबेस (DB) में संग्रहीत होते हैं। प्रत्येक दस्तावेज़ को एक एम्बेडिंग मॉडल द्वारा निर्मित सिमेंटिक वेक्टर के आधार पर अनुक्रमित किया जाता है ताकि किसी दिए गए क्वेरी वेक्टर के करीब दस्तावेज़ों को जल्दी से खोजा जा सके। इसका अनिवार्य रूप से मतलब यह है कि प्रत्येक दस्तावेज़ को एक संख्यात्मक प्रतिनिधित्व (वेक्टर) सौंपा गया है, जो इसके अर्थ को इंगित करता है।

जब कोई क्वेरी आती है, तो उसी एम्बेडिंग मॉडल का उपयोग क्वेरी के लिए सिमेंटिक वेक्टर तैयार करने के लिए किया जाता है।

फिर मॉडल वेक्टर खोज का उपयोग करके डीबी से समान दस्तावेज़ पुनर्प्राप्त करता है, उन दस्तावेज़ों की तलाश करता है जिनके वेक्टर क्वेरी के वेक्टर के करीब हैं।

एक बार प्रासंगिक दस्तावेज़ पुनर्प्राप्त हो जाने के बाद, इन दस्तावेज़ों के साथ क्वेरी का उपयोग मॉडल से प्रतिक्रिया उत्पन्न करने के लिए किया जाता है। इस तरह, मॉडल को केवल अपने आंतरिक ज्ञान पर निर्भर नहीं रहना पड़ता है, बल्कि आप उसे जो भी डेटा प्रदान करते हैं, वह सही समय पर उस तक पहुंच सकता है। इसलिए मॉडल एक डेटाबेस में संग्रहीत मालिकाना डेटा को शामिल करके अधिक सटीक और प्रासंगिक रूप से उपयुक्त प्रतिक्रियाएं प्रदान करने के लिए बेहतर ढंग से सुसज्जित है जो एक सुविधा के रूप में वेक्टर खोज प्रदान करता है।

इसमें मुट्ठी भर तथाकथित "वेक्टर डेटाबेस" उपलब्ध हैं, जिनमें शामिल हैं डेटास्टैक्स एस्ट्रा डीबी , जिसके लिए वेक्टर खोज अब आम तौर पर उपलब्ध है. वेक्टर खोज को सक्षम करने वाले डेटाबेस का मुख्य लाभ गति है। पारंपरिक डेटाबेस को डेटाबेस में प्रत्येक आइटम के साथ एक क्वेरी की तुलना करनी होती है। इसके विपरीत, एकीकृत वेक्टर खोज अनुक्रमण के एक रूप को सक्षम करती है और इसमें खोज एल्गोरिदम शामिल होते हैं जो प्रक्रिया को काफी तेज करते हैं, जिससे मानक डेटाबेस में लगने वाले समय के एक अंश में भारी मात्रा में डेटा खोजना संभव हो जाता है।

अनुकूलित प्रदर्शन के लिए क्वेरी एनकोडर और परिणाम जनरेटर पर फाइन-ट्यूनिंग लागू की जा सकती है। फाइन-ट्यूनिंग एक ऐसी प्रक्रिया है जहां मॉडल के मापदंडों को हाथ में मौजूद विशिष्ट कार्य के लिए बेहतर अनुकूल बनाने के लिए थोड़ा समायोजित किया जाता है।

आरएजी बनाम फाइन-ट्यूनिंग

एलएलएम को अनुकूलित करने के लिए फाइन-ट्यूनिंग कई लाभ प्रदान करती है। लेकिन इसकी कुछ सीमाएँ भी हैं। एक के लिए, यह नए या मालिकाना डेटा के गतिशील एकीकरण की अनुमति नहीं देता है। प्रशिक्षण के बाद मॉडल का ज्ञान स्थिर रहता है, जिससे उसके प्रशिक्षण सेट के बाहर के डेटा के बारे में पूछे जाने पर वह भ्रमित हो जाता है। दूसरी ओर, आरएजी बाहरी डेटाबेस से अद्यतन और मालिकाना डेटा को गतिशील रूप से पुनर्प्राप्त और शामिल करता है, मतिभ्रम की समस्या को कम करता है और अधिक प्रासंगिक रूप से सटीक प्रतिक्रियाएं प्रदान करता है। RAG आपको मॉडल को प्रदान की जाने वाली जानकारी पर क्वेरी-टाइम नियंत्रण देता है, जिससे क्वेरी किए जाने के ठीक समय पर विशिष्ट उपयोगकर्ताओं के लिए संकेत तैयार किए जा सकते हैं।

आरएजी फ़ाइन-ट्यूनिंग की तुलना में अधिक कम्प्यूटेशनल रूप से कुशल और लचीला है। फ़ाइन-ट्यूनिंग के लिए प्रत्येक डेटासेट अद्यतन, एक समय लेने वाली और संसाधन-गहन कार्य के लिए पूरे मॉडल को फिर से प्रशिक्षित करने की आवश्यकता होती है। इसके विपरीत, RAG को केवल दस्तावेज़ वैक्टर को अपडेट करने की आवश्यकता होती है, जिससे आसान और अधिक कुशल सूचना प्रबंधन सक्षम हो सके। आरएजी का मॉड्यूलर दृष्टिकोण पुनर्प्राप्ति तंत्र को अलग से ठीक करने की भी अनुमति देता है, जिससे आधार भाषा मॉडल में बदलाव किए बिना विभिन्न कार्यों या डोमेन में अनुकूलन की अनुमति मिलती है।

RAG बड़े भाषा मॉडल की शक्ति और सटीकता को बढ़ाता है, जिससे यह फाइन-ट्यूनिंग का एक आकर्षक विकल्प बन जाता है। व्यवहार में, उद्यम फ़ाइन-ट्यूनिंग की तुलना में RAG का अधिक उपयोग करते हैं।

आरएजी के साथ एलएलएम की भूमिका बदलना

एलएलएम में आरएजी को एकीकृत करने से न केवल उनकी प्रतिक्रियाओं की सटीकता में सुधार होता है, बल्कि यह उनकी क्षमता को भी अधिकतम करता है। यह प्रक्रिया एलएलएम को इस बात पर ध्यान केंद्रित करने में सक्षम बनाती है कि वे एक प्रॉम्प्ट से समझदारी से सामग्री तैयार करने में क्या उत्कृष्टता रखते हैं। मॉडल अब जानकारी का एकमात्र स्रोत नहीं है क्योंकि RAG आवश्यकता पड़ने पर इसे प्रासंगिक स्वामित्व ज्ञान प्रदान करता है, और मॉडल के लिए सुलभ ज्ञान के भंडार को महंगी मॉडल-प्रशिक्षण नौकरियों के बिना विस्तारित और अद्यतन किया जा सकता है।

संक्षेप में, आरएजी एक पुल के रूप में कार्य करता है, जो एलएलएम को ज्ञान के भंडार से जोड़ता है जो इसकी आंतरिक क्षमताओं से परे है। परिणामस्वरूप, यह एलएलएम की "मतिभ्रम" करने की प्रवृत्ति को काफी हद तक कम कर देता है और उपयोगकर्ताओं के लिए अधिक सटीक और कुशल मॉडल प्रदान करता है।

डेटास्टैक्स ने हाल ही में एस्ट्रा डीबी में वेक्टर खोज क्षमता की सामान्य उपलब्धता की घोषणा की। इसके बारे में जानें यहाँ .

रयान माइकल द्वारा, डेटास्टैक्स