एक जेनेरिक एआई एप्लिकेशन का निर्माण करते समय जिसे किसी कार्य को पूरा करने के लिए एक बड़े भाषा मॉडल (एलएलएम) को कई बार कॉल करने की आवश्यकता होती है, एक आम समस्या यह है कि एलएलएम के लिए बार-बार की जाने वाली क्वेरी महंगी और अप्रत्याशित दोनों हो सकती है। GPT-3.5/4 जैसे बड़े मॉडल प्रशिक्षण और अनुमान चलाने के लिए अविश्वसनीय रूप से संसाधन-गहन हैं; यह एपीआई शुल्कों के साथ-साथ सेवा में कभी-कभी आने वाले व्यवधानों में भी परिलक्षित होता है। चैटजीपीटी मूल रूप से एक शोध पूर्वावलोकन के रूप में जारी किया गया था और इसका उत्पादन अनुप्रयोगों के लिए उपयोग करने का इरादा नहीं था। हालाँकि, अनुप्रयोगों की एक विस्तृत श्रृंखला में इसकी उपयोगिता निर्विवाद है, इसलिए एलएलएम में रुचि बढ़ी है।
चैटजीपीटी की शुरुआत के बाद से, उपयोगकर्ता जीपीटी का उपयोग करते समय गोपनीयता की कमी और अपटाइम या अनुमान सेटिंग्स को नियंत्रित करने में असमर्थता को दूर करने के तरीकों की तलाश कर रहे हैं। इससे मेटा के लामा 2 जैसे मुफ़्त, सार्वजनिक मॉडलों की लोकप्रियता बढ़ी है और बाद में लामा के परिमाणित और निचले-पैरामीटर संस्करणों का निर्माण हुआ है जो उपभोक्ता हार्डवेयर पर चल सकते हैं। ये सार्वजनिक मॉडल बहुत कम कंप्यूटिंग शक्ति के लिए जीपीटी के समान कार्यक्षमता प्रदान करने में सक्षम हैं, हालांकि कम मापदंडों और कम वर्बोज़ आउटपुट की कीमत पर।
यदि आपका एप्लिकेशन आवश्यक रूप से अत्यधिक बड़े संदर्भों को संसाधित करने या वर्बोज़ आउटपुट उत्पन्न करने पर निर्भर नहीं है, तो आपके द्वारा नियंत्रित उदाहरणों पर अपना स्वयं का अनुमान होस्ट करना अधिक लागत प्रभावी विकल्प हो सकता है। और जब पुनर्प्राप्ति संवर्धित पीढ़ी (आरएजी) के वास्तविक दुनिया के अनुप्रयोगों की बात आती है, तो लागत अंतर और भी महत्वपूर्ण हो सकता है।
मैं कमोडिटी हार्डवेयर पर सटीक आरएजी निष्पादित करने के लिए वेक्टर स्टोर्स, लेक्सिकल सर्च और प्रॉम्प्ट इंजीनियरिंग के संयोजन के लिए एक सरल विधि का प्रदर्शन करूंगा। इस पद्धति का उपयोग करके, आप बड़ी मात्रा में जानकारी की जटिलता को कम कर सकते हैं और जनरेटिव एआई अनुप्रयोगों को बड़े पैमाने पर अधिक सटीक, कुशल और लागत प्रभावी बना सकते हैं। जानकारी के विशिष्ट भंडार पर आरएजी का उपयोग करके, आप तृतीय-पक्ष एपीआई के लिए भुगतान किए बिना किसी भी स्रोत सामग्री से मतिभ्रम को खत्म करने और प्रभावी और जानकार एजेंट बनाने की क्षमता प्राप्त कर सकते हैं।
आरंभ करने के लिए, आपको वैक्टर और टेक्स्ट डेटा को संग्रहीत करने के लिए या तो डेटास्टैक्स एंटरप्राइज 7 इंस्टेंस या डेटास्टैक्स एस्ट्रा डीबी की आवश्यकता होगी, साथ ही प्रतिक्रियाएं उत्पन्न करने और वैक्टर के साथ अपने डेटा को एनकोड करने के लिए एक एलएलएम और एक वाक्य ट्रांसफार्मर मॉडल की आवश्यकता होगी। आपके डेटा की जटिलता या उपयोगकर्ता के संकेतों के आधार पर, आप इसे डेटास्टैक्स एंटरप्राइज 6.8 डेटाबेस के साथ संयोजित करने पर भी विचार कर सकते हैं जो डेटा की व्यापक श्रेणियों से मेल खाने के लिए सोलर खोज कर सकता है, जो कि मैंने इस उदाहरण में उपयोग किया है। डेटास्टैक्स एक ही डेटाबेस के साथ इन सभी परिचालनों को सक्षम करने के लिए लगातार सुधारों पर काम कर रहा है, लेकिन अभी के लिए, मैं दो डेटाबेस का उपयोग करता हूं।
मतिभ्रम का समाधान
चाहे आप कोई भी एलएलएम चुनें, वे सभी अभी भी मतिभ्रम से पीड़ित हैं। अभी के लिए, एलएलएम, जिसे अन्यथा आरएजी के रूप में जाना जाता है, के संदर्भ में सच्ची जानकारी देकर उस सीमा को हल करने की आवश्यकता है। जिस विधि से आप अपनी जानकारी का पता लगाते हैं और उसे संकेतों के लिए परिवर्तित करते हैं वह पूरी तरह से आपके डेटा मॉडल पर निर्भर करता है, लेकिन आप वेक्टर डेटाबेस का उपयोग करके अधिक कुशल तरीके से अधिक प्रासंगिक जानकारी पा सकते हैं।
उदाहरण के लिए, मान लें कि आपके पास उस विषय पर ई-पुस्तकों का संग्रह है जिसे आप जानना चाहते हैं, जैसे वॉरहैमर 40,000 कैसे खेलें। सामान्य परिस्थितियों में, सहायक साहित्य को पढ़ने और विशेषज्ञ स्तर तक पहुंचने के लिए पर्याप्त गेमप्ले अनुभव प्राप्त करने में कई साल लगेंगे।
एक लक्षित प्रश्न जैसे, "आप मुझे एडेप्टा सोरोरिटास के मोरवेन वाहल के बारे में क्या बता सकते हैं?" किसी अनुभवी खिलाड़ी या वॉरहैमर स्टोर के किसी कर्मचारी द्वारा सबसे अच्छा उत्तर दिया जाएगा। जबकि चैटजीपीटी खेल के बारे में कई सवालों के जवाब दे सकता है, लेकिन दुर्भाग्य से इसमें कोई प्रशिक्षण डेटा नहीं है जो इस विशेष चरित्र को कवर करता हो:
इसकी तुलना एनवीडिया आरटीएक्स ए4000 ग्राफिक्स कार्ड के साथ उपभोक्ता वर्कस्टेशन पर होस्ट किए गए लामा 2 13बी पैरामीटर एलएलएम से करें। इसी तरह, मॉडल वॉरहैमर ब्रह्मांड के बुनियादी ज्ञान को प्रदर्शित कर सकता है, लेकिन ट्यूनिंग के कारण, मॉडल को इस बात की परवाह नहीं है कि चरित्र नहीं मिला है और इसके बजाय सर्वोत्तम प्रयास वाला मतिभ्रम प्रदान करता है:
यदि आप एक ऐसा चैटबॉट बनाना चाहते हैं जो नवागंतुकों और अनुभवी लोगों दोनों को Warhammer 40,000 खेलने में मदद कर सके, तो ये आउटपुट अस्वीकार्य हैं। एक प्रभावी गेम गाइड बनने के लिए, चैटबॉट को गेम के नियम, प्रत्येक इकाई के नियम, विद्या के कुछ अंश और कुछ रणनीति और कमेंटरी जानने की जरूरत है। सौभाग्य से, 10वें संस्करण के नियमों की सारी जानकारी गेम्स वर्कशॉप और प्रशंसक वेबसाइटों पर मुफ्त में उपलब्ध है, और आपको बस इसे अपने चैटबॉट ऐप पर खोजने योग्य बनाना है।
इसकी तुलना उसी 13बी लामा मॉडल से करें, जहां आरएजी के साथ, मोरवेन वाहल पर कुछ स्रोतों की तुलना करने और उपयोगकर्ता संकेत के आधार पर एक प्रासंगिक उत्तर तैयार करने के लिए कहा जाता है। इस बार, चैटबॉट के पास एक खोज डेटाबेस और एक वेक्टर डेटाबेस तक पहुंच है जो वॉरहैमर 40,000, 10वें संस्करण को खेलने के तरीके के बारे में सभी सार्वजनिक जानकारी से भरा है:
क्या अंतर है! यह न केवल इस विशिष्ट चरित्र पर प्रासंगिक जानकारी प्राप्त करता है, बल्कि यह अपने आउटपुट को 10वें संस्करण के नियमों के साथ गेम खेलने के संदर्भ के अनुरूप भी रखता है।
इस सब में सबसे कठिन हिस्सा एलएलएम में फीड करने के लिए प्रासंगिक पृष्ठों को खोजने के लिए प्रभावी खोज करना है। यह वह जगह है जहां वेक्टर डेटाबेस विशेष रूप से उपयोगी हो सकते हैं।
सदिश लागू करना
इस उदाहरण में, हम चैटबॉट एप्लिकेशन की डेटाबेस आवश्यकताओं को पूरा करने के लिए डॉकर इंस्टेंस में चलने वाले डीएसई 7 और डीएसई 6.8 का उपयोग करेंगे, जिसके लिए वैक्टर की तुलना करने और शाब्दिक खोज करने में सक्षम होना आवश्यक है। डीएसई 7 और एस्ट्रा डीबी ने वैक्टर को स्टोर करने और वेक्टर खोज करने के साथ-साथ टेक्स्ट मिलान द्वारा फ़िल्टर करने की क्षमता पेश की है। हमें इस उदाहरण के लिए केवल कुछ दर्जन पुस्तकें खोजने की आवश्यकता है, इसलिए डॉकर में डीएसई इंस्टेंसेस चलाना अधिकांश उपभोक्ता हार्डवेयर के लिए पर्याप्त होगा।
आपके डेटाबेस में वैक्टर का उपयोग करने से उन दस्तावेज़ों को ढूंढने में मदद मिलेगी जो किसी दिए गए क्वेरी के समान हैं, या उनका उपयोग किसी अन्य खोज से प्राप्त परिणामों की तुलना करने के लिए किया जा सकता है। यह आपको शाब्दिक खोज की सीमाओं को दूर करने और डेटा मॉडल की प्रभावशीलता में सुधार करने में मदद कर सकता है।
उदाहरण के लिए, ई-बुक पीडीएफ जैसी कोई चीज़ मिनीएलएम जैसे वाक्य ट्रांसफार्मर के साथ एन्कोड होने से लाभान्वित हो सकती है, और वैक्टर का उपयोग किसी क्वेरी और किसी दिए गए स्रोत के बीच समानता तुलना चलाने के लिए किया जा सकता है। इस मामले में, एक वाक्य ट्रांसफार्मर मॉडल का उपयोग ई-बुक में किसी पृष्ठ के पाठ की एम्बेडिंग बनाने के लिए किया जाता है, और यह आपको यह पता लगाने के लिए उपयोगकर्ता के संकेत से तुलना करने में सक्षम कर सकता है कि कोई परिणाम क्वेरी के लिए प्रासंगिक है या नहीं। प्रासंगिक पृष्ठों में ऐसे शब्दों के एक या अधिक उदाहरण होने चाहिए जो उपयोगकर्ता की क्वेरी के समान हों और मॉडल के दृष्टिकोण से बेहतर समानता स्कोर प्राप्त करें।
जैसा कि कहा गया है, वैक्टर को मौजूदा शाब्दिक खोज मॉडल के पूरक के रूप में सबसे अच्छा लागू किया जाता है। यदि आप केवल वेक्टर द्वारा खोजते हैं, तो आप अप्रत्याशित रूप से असंबंधित दस्तावेज़ पुनर्प्राप्त कर सकते हैं और उन्हें संदर्भ के रूप में प्रदान कर सकते हैं जहां वे लागू नहीं होते हैं।
इस उदाहरण में, प्रश्न "आप मुझे एडेप्टा सोरोरिटास के मोरवेन वाहल के बारे में क्या बता सकते हैं?" एलएलएम द्वारा सरल खोज शब्दों के एक सेट में बदला जा सकता है:
Morvenn, Vahl, Adepta, Sororitas
प्रासंगिक दस्तावेज़ खोजने में पहला कदम उन दस्तावेज़ों की खोज करना होगा जिनमें वे बुनियादी शब्द शामिल हैं। ऐसी क्वेरी से मेल खाने वाले पेज टेक्स्ट में कीवर्ड ढूंढने के लिए डेटाबेस में टेक्स्ट मिलान के लिए पहले फ़िल्टरिंग करके ऐसा किया जा सकता है। कीवर्ड उत्पन्न करने के लिए एलएलएम का उपयोग करने का कारण खोज के लिए संभावित कीवर्ड की एक विस्तृत श्रृंखला प्रदान करना है, क्योंकि यह अक्सर अधिक कीवर्ड जोड़ने का प्रयास करता है जो संबंधित हैं लेकिन मूल संकेत के पाठ में नहीं हैं। हालाँकि, इससे सावधान रहें, क्योंकि एलएलएम विशेष वर्ण और विषम अनुक्रम भी उत्पन्न कर सकते हैं जिन्हें आपको साफ़ करने की आवश्यकता होगी।
एक बार जब आपके पास कम से कम एक परिणाम हो, तो आप उपयोगकर्ता की क्वेरी को वेक्टराइज़ कर सकते हैं और इसकी तुलना शाब्दिक खोज के वैक्टर से कर सकते हैं, जिससे प्रत्येक परिणाम कितना प्रासंगिक है, इसका स्कोर बना सकते हैं। यह आपको क्वेरी की सटीकता के लिए खोज परिणामों की जांच करने और एलएलएम में आपके परिणामों को अंतिम रूप से प्रस्तुत करने की बात आने पर असंबंधित परिणामों को अस्वीकार करने के लिए एक सीमा निर्धारित करने की अनुमति देता है।
इस मामले में, पहले चरण को उन पृष्ठों से मेल खाना चाहिए जो विशेष रूप से मोरवेन वाहल के इंडेक्स कार्ड या गेमप्ले यांत्रिकी को दिखाते हैं क्योंकि वे चरित्र की इकाई का वर्णन करते हैं कि वह गेम में कैसे खेलता है। यदि पृष्ठ एप्लिकेशन द्वारा निर्धारित उपयोगकर्ता क्वेरी के लिए एक निश्चित प्रासंगिकता सीमा को पूरा करता है, तो इसे सारांशित किया जाता है और परिणामों की सूची में रखा जाता है।
अंत में, खोज परिणामों को एक सूची में संकलित किया जा सकता है और एलएलएम में वापस भेजा जा सकता है, जहां मूल प्रश्न का उत्तर देने के लिए सबसे प्रासंगिक संदर्भों का उपयोग करने के लिए कहा जाता है। यहाँ प्रवाह का एक दृश्य है:
जैसा कि आप देख सकते हैं, एलएलएम को इस प्रवाह के लिए अक्सर बुलाया जाता है। एलएलएम उपयोगकर्ता के संकेत को कीवर्ड में बदलने, लागू परिणामों को सारांशित करने और यह चुनने के लिए जिम्मेदार है कि कौन सा संदर्भ किसी प्रश्न का सबसे अच्छा उत्तर देता है। जाँच के लिए प्रत्येक स्रोत एक और एलएलएम आमंत्रण जोड़ता है, जो जीपीटी से प्रश्न पूछते समय काफी महंगा हो सकता है। लेकिन अगर आपके पास पहले से ही आवश्यक जानकारी है और आप इसे संक्षेप में प्रस्तुत करना या बदलना चाहते हैं, तो आपको इतने बड़े मॉडल का उपयोग करने की आवश्यकता नहीं होगी। वास्तव में, छोटे मॉडलों पर स्विच करने से कई लाभ मिल सकते हैं।
छोटे एलएलएम का उपयोग करके, आप प्रत्येक क्वेरी की कम्प्यूटेशनल लागत को कम कर सकते हैं, जिससे समय के साथ महत्वपूर्ण बचत हो सकती है। इससे आपके उपयोगकर्ताओं के लिए त्वरित प्रतिक्रिया समय भी प्राप्त हो सकता है, जिससे उनका समग्र अनुभव बेहतर हो सकता है। इस उदाहरण में, जहां आरएजी को छोटे एलएलएम और छोटे डेटाबेस का उपयोग करके निष्पादित किया जाता है, सभी एक ही जीपीयू उदाहरण पर होस्ट किए जाते हैं, 15 स्रोतों को पुनः प्राप्त करने, प्रासंगिकता के लिए उनका विश्लेषण करने और अंतिम उत्तर प्रदान करने में लगभग 30 सेकंड लगते हैं। और संकेत (स्रोत) जितने छोटे होंगे, आउटपुट उतनी ही तेजी से लौटाए जा सकते हैं।
इसके अतिरिक्त, यह विधि बढ़ी हुई सुरक्षा और स्केलेबिलिटी की अनुमति देती है। त्वरित इंजीनियरिंग और एलएलएम पर कॉल की पाइपलाइन के साथ, आप इस बात पर पूर्ण नियंत्रण में हैं कि डेटा कैसे एक्सेस किया जाता है और उपयोगकर्ताओं को उनकी प्रतिक्रियाओं में क्या मिलेगा। संसाधन उपयोग के संदर्भ में, उदाहरण 13बी पैरामीटर मॉडल केवल 8जीबी से थोड़ा अधिक वीआरएएम की खपत करता है और फिर भी प्रासंगिक उत्तर प्रदान करता है। जरूरतों के आधार पर, यह उपयोगकर्ता वर्कस्टेशन और मोबाइल उपकरणों जैसे असंख्य अन्य प्लेटफार्मों पर भी आरएजी चलाने की क्षमता दिखाता है।
आउटपुट को नियंत्रित करना
आरएजी को वही करने के लिए त्वरित इंजीनियरिंग महत्वपूर्ण है जो आप चाहते हैं। आप इस पर नियंत्रण रखते हैं कि चैटबॉट डेटा की व्याख्या कैसे करता है और उसे किस संदर्भ में सोचना चाहिए। इस उदाहरण में, हम यह सुनिश्चित करना चाहते हैं कि चैटबॉट जानता है कि हम विशेष रूप से वॉरहैमर जानकारी मांग रहे हैं, इसलिए हम पहले उससे उपयोगकर्ता की क्वेरी के लिए सहायक संदर्भ प्रदान करने में मदद करने के लिए कह सकते हैं:
क्वेरी: “<उपयोगकर्ता क्वेरी>”
मुझे किसी खोज इंजन के लिए Warhammer 40K कीवर्ड की एक न्यूनतम, अल्पविराम से अलग की गई सूची दें। केवल प्रश्न का उत्तर दें. इमोजी या विशेष वर्णों का उपयोग न करें.
उत्तर:
वॉरहैमर 40,000 ऐसे शब्दों और नामों से भरा है जो अन्य, असंबद्ध लोकप्रिय संस्कृति में दिखाई दे सकते हैं, इसलिए पहली क्वेरी में आरएजी का संदर्भ निर्धारित करना महत्वपूर्ण है। यदि आपका एप्लिकेशन कई संदर्भों को कवर करता है, जैसे कि आपको वॉरहैमर गेम नियमों के कई संस्करणों को कवर करने या उन्हें आधिकारिक विद्या पुस्तकों के साथ संयोजित करने की आवश्यकता है, तो यह संदर्भ चयन या संशोधित करने के लिए उपलब्ध होना चाहिए।
ध्यान दें कि उपयोगकर्ता की क्वेरी हमेशा इस प्रयोग के लिए उद्धरणों से युक्त होती है। यह एलएलएम को उस क्वेरी के बीच अंतर करने में मदद करता है जिसका वह सीधे उत्तर देने का प्रयास कर रहा है और अलग-अलग प्रॉम्प्ट-इंजीनियरिंग निर्देशों के बीच, जिसका उसे सीधे उत्तर नहीं देना चाहिए। प्रॉम्प्ट के प्रश्न/उत्तर भाग को किसी विशेष संदर्भ में फिट करने के लिए समायोजित किया जा सकता है, लेकिन अधिकतर, आपको केवल एलएलएम को सूचित करने में सक्षम होना चाहिए कि उसे सीधे क्या जवाब देना चाहिए और क्या नहीं और कैसे जवाब देना चाहिए।
इस मामले में, यह मान लेना सुरक्षित है कि एलएलएम को खेल जगत का सामान्य ज्ञान है क्योंकि श्रृंखला काफी लोकप्रिय है और सामान्य जानकारी मुफ्त में उपलब्ध है। इस पहली क्वेरी का आउटपुट हमारे एप्लिकेशन में चीट शीट बनाए बिना शाब्दिक खोज में उपयोग करने के लिए कुछ कीवर्ड उत्पन्न करने में मदद करता है।
लेक्सिकल और वेक्टर तुलनाएं पृष्ठभूमि में की जा सकती हैं, और परिणामों की एक सूची एलएलएम द्वारा समीक्षा के लिए संकलित की जाती है। चूँकि उपयोगकर्ता के मूल संकेत का पहले चरण में अनुमान के साथ सीधे उत्तर नहीं दिया जाता है, एलएलएम केवल वही बदलता है जो खोज में पाया जाता है और इसे आसानी से इसके गार्ड रेल या ज्ञान आधार के बाहर प्रश्नों का उत्तर देने से रोका जा सकता है।
यदि खोज से प्रासंगिक परिणाम हों:
क्वेरी: “<उपयोगकर्ता क्वेरी>”
इन खोज परिणामों की समीक्षा करें और प्रश्न का उत्तर देने के लिए उनका उपयोग करें।
परिणाम 1
परिणाम 2
वगैरह।
उत्तर:
यदि खोज से कोई प्रासंगिक परिणाम नहीं मिलते हैं:
क्वेरी: “<उपयोगकर्ता क्वेरी>”
विनम्रतापूर्वक मुझे बताएं कि आपने खोजा लेकिन प्रश्न का उत्तर नहीं मिला। इसके बजाय अपने सर्वोत्तम ज्ञान का उत्तर दें।
उत्तर:
अतिरिक्त सुरक्षा के लिए, आप अनुरोध को पूरी तरह से अस्वीकार या पुनर्निर्देशित कर सकते हैं जब इसे पूरा नहीं किया जा सकता हो।
क्वेरी: “<उपयोगकर्ता क्वेरी>”
विनम्रतापूर्वक मुझे बताएं कि आपने खोजा लेकिन प्रश्न का उत्तर नहीं मिला। इसके बजाय मुझे सहायता के लिए ग्राहक सहायता टीम से संपर्क करने का निर्देश दें।
उत्तर:
आप अधिक विवरण मांगकर आउटपुट को लंबा भी बना सकते हैं। जब तक आप अपनी स्रोत सामग्री को संदर्भ विंडो में फिट कर सकते हैं, एलएलएम इसे आपके लिए बदल सकता है।
क्वेरी: “<उपयोगकर्ता क्वेरी>”
इन खोज परिणामों की समीक्षा करें और प्रश्न का उत्तर देने के लिए उनका उपयोग करें। यथासंभव विस्तृत रहें और स्रोतों का हवाला दें।
परिणाम 1
परिणाम 2
वगैरह।
उत्तर:
सीमाएँ
एलएलएम में एक सीमित संदर्भ विंडो है और यह पाठ के असाधारण बड़े पृष्ठों को संसाधित करने में विफल रहेगा। पंक्ति आकार पर सीमा लगाने पर विचार करें ताकि आपका डेटा अधिक प्रबंधनीय हो और एलएलएम के लिए इसे संसाधित करना आसान हो। उदाहरण के लिए, पृष्ठों को लगभग 1,000 अक्षरों के टुकड़ों में काटना अच्छा काम करता प्रतीत होता है, और प्रॉम्प्ट में चार या पाँच से अधिक विस्तृत उत्तर देने से बचने का प्रयास करें।
संदर्भ विंडो में आप जो कुछ भी फिट कर सकते हैं, उसके अलावा एलएलएम में बातचीत की कोई स्मृति नहीं है। वार्तालाप डेटा का एक स्थायी भंडार बनाना संभव है, लेकिन एलएलएम के लिए अत्यधिक बड़ी बातचीत या विस्तृत संदर्भ को प्रॉम्प्ट में फिट करना संभव नहीं है; यह क्या रूपांतरित कर सकता है इसकी एक ऊपरी सीमा है। इसका मतलब यह है कि चाहे कुछ भी हो, एक निश्चित बिंदु पर, आप देखेंगे कि एलएलएम कुछ विवरणों को "भूल" जाता है, भले ही उन्हें संदर्भ के रूप में प्रदान किया गया हो; यह उपकरण की केवल एक अंतर्निहित सीमा है। केवल छोटी बातचीत के लिए इस पर भरोसा करना और मतिभ्रम को कम करने के लिए एक समय में छोटी मात्रा में पाठ को बदलने पर ध्यान केंद्रित करना सबसे अच्छा है।
एलएलएम में अनियमितता एक समस्या हो सकती है। यह निर्धारित करने के लिए परीक्षण और ट्यूनिंग आवश्यक होगी कि आपके डेटा सेट के लिए कौन सा संकेत सबसे अच्छा काम करता है और यह पता लगाने के लिए कि कौन सा मॉडल आपके उपयोग के मामले में सबसे अच्छा काम करता है। 13बी पैरामीटर मॉडल के साथ मेरे परीक्षण में, पहले प्रॉम्प्ट से कौन से खोज कीवर्ड उत्पन्न हुए थे, इस संबंध में बहुत अधिक अप्रत्याशितता थी, विशेष रूप से प्रॉम्प्ट की लंबाई बढ़ने के कारण। सर्वोत्तम परिणामों के लिए, छोटे संकेतों पर टिके रहें।
निष्कर्ष
संक्षेप में, वेक्टर और लेक्सिकल खोज मॉडल के संयोजन से आरएजी का लाभ उठाने से प्रासंगिक परिणामों की अधिक प्रभावी खोज और सॉर्टिंग और एजेंट आउटपुट उत्पन्न करने की अनुमति मिलती है जो मतिभ्रम की संभावना बहुत कम होती है। खोजने योग्य संदर्भ जितना छोटा होगा, प्रतिक्रियाएँ उतनी ही सटीक और सटीक होंगी। एलएलएम कॉल की अपनी स्वयं की कस्टम पाइपलाइन का निर्माण आपके वांछित स्तर की सटीकता और गार्ड रेल की ओर प्रतिक्रियाओं को ट्यून करने में कहीं अधिक लचीलापन प्रदान करता है।
हालाँकि यह सीमित संदर्भ विंडो के भीतर अत्यधिक बड़ी मात्रा में डेटा संसाधित नहीं कर सकता है, यह सीमित ज्ञान के आधार पर प्रभावी सहायक बनाने की क्षमता प्रदान करता है, साथ ही पहले की तुलना में समान या कम हार्डवेयर पर अधिक समवर्ती एजेंट चलाने की क्षमता प्रदान करता है। इससे टेबलटॉप गेमिंग जैसे अनुप्रयोगों के लिए आभासी सहायकों के लिए अधिक संभावनाएं खुल सकती हैं या यहां तक कि सरकार, कानूनी और लेखा फर्मों, वैज्ञानिक अनुसंधान, ऊर्जा और अन्य द्वारा उपयोग के लिए अधिक जटिल विषयों को भी कवर किया जा सकता है।
यदि आप निर्माण शुरू करने के लिए तैयार हैं, तो आप एस्ट्रा डीबी को निःशुल्क आज़मा सकते हैं। अपना डेटाबेस बनाएं और अपने RAG स्रोतों को आज ही लोड करना शुरू करें, बिना किसी क्लाउड या डेटाबेस ऑप्स अनुभव की आवश्यकता के।
मारियो चार्नेल-डेलगाडो, डेटास्टैक्स द्वारा
यहाँ भी प्रकाशित किया गया है.
