बड़े भाषा मॉडल (एलएलएम) सॉफ्टवेयर दुनिया में इन दिनों बहुत लोकप्रिय हैं. वे नए लेखों, ब्लॉग पोस्ट, पाठ्यक्रमों और हमारे उद्योग में अग्रणी कंपनियों, जैसे कि मेटा, Huggingface, माइक्रोसॉफ्ट, आदि से मॉडल पेश करते हैं, जो हमें नए प्रौद्योगिकियों का करीब से पालन करने की आवश्यकता है। हमने इन विषयों को पेश करने और नवीनतम तकनीक के बारे में अद्यतन रखने के लिए कुछ संक्षिप्त, सूचनात्मक लेख लिखने का फैसला किया है। हमने निर्धारित विषय पर एक श्रृंखला लेख बनाएंगे, जिसमें तीन अलग-अलग लेख हैं जो उपयोगी हैं और एक दूसरे को पूरक करते हैं. इस लेख में, हम अपने श्रृंखला को RAG मॉडल की परिभाषा और बुनियादी जानकारी के साथ शुरू करते हैं. बड़े भाषा मॉडल हमारे जीवन के हर पहलू में प्रवेश कर चुके हैं. हम कह सकते हैं कि वे क्षेत्र को क्रांतिकारी कर चुके हैं. हालांकि, वे उतनी आसानी से एक उपकरण नहीं हैं जितना हम उन्हें बुलाना पसंद करते हैं. इसमें एक प्रमुख नुकसान भी है: यह अपने प्रशिक्षण के लिए वफादार है. यह उस डेटा के लिए वफादार रहता है जिस पर प्रशिक्षित किया गया था. वे इससे विचलित नहीं हो सकते हैं. एक मॉडल जिसने नवंबर 2022 में प्रशिक्षण पूरा किया, वह समाचार, कानून, तकनीकी विकास आदि को मास्टर करने में सक्षम नहीं होगा, जो जनवरी 2023 में दिखाई दिया। उदाहरण के लिए, एक एलएलएम मॉडल जिसने प्रशिक्षण पूरा किया और 2021 में सेवा में प्रवेश किया, वह रूस-यूक्रेन युद्ध के बारे में एक प्रश्न का इसका कारण यह है कि इसके विकास उस तारीख से पहले पूरा हो गया था. बेशक, यह समस्या अस्वीकृत नहीं हुई थी, और एक नया उत्पाद, एक नया सिस्टम, पेश किया गया था. RAG (Retrieval-Augmented Generation) सिस्टम आपको जब भी आपको इसकी आवश्यकता होती है तो अद्यतन जानकारी प्रदान करने के लिए उभरा। हमारे लेख के बाकी हिस्सों में, आइए एलएलएम मॉडल और RAG सिस्टम के साथ बनाई गई दोनों सिस्टम को करीब से देखें, एक-एक, उन्हें जानने के लिए। LLM मॉडल में जानकारी तक पहुंच बड़े भाषा मॉडल के काम का सिद्धांत प्रशिक्षण के दौरान सिखाए गए डेटा पर आधारित है, दूसरे शब्दों में, स्थिर ज्ञान. उनके पास किसी भी माध्यम से बाहरी डेटा निकालने की कोई क्षमता नहीं है. उदाहरण देने के लिए, एक बच्चे पर विचार करें. यदि हम इस बच्चे की बाहरी संचार को काटते हैं और उन्हें केवल अंग्रेजी सिखाते हैं, तो हम उनसे एक भी चीनी शब्द नहीं सुन पाएंगे। ऐसा इसलिए है क्योंकि हमने एक बच्चे को उठाया है जो अंग्रेजी में धीरे-धीरे बोलता है, चीनी नहीं। बाहरी दुनिया के साथ उनके कनेक्शन को काटकर, हमने बाहरी स्रोतों से सीखने की उनकी क्षमता को भी सीमित कर दिया है। एलएलएम मॉडल की एक और विशेषता यह है कि वे ब्लैक बॉक्स हैं. ये मॉडल पूरी तरह से नहीं जानते हैं कि वे ऑपरेशन क्यों करते हैं. वे अपनी गणनाओं को केवल गणितीय ऑपरेशन पर आधारित करते हैं. किसी भी एलएलएम मॉडल से पूछते हुए, "आपने यह जवाब क्यों दिया? इस संरचना को बेहतर ढंग से समझने के लिए, स्वास्थ्य देखभाल क्षेत्र से एक उदाहरण पर विचार करें. जब एक उपयोगकर्ता पूछता है, "मेरे चेहरे और आंखों में दर्द है, और लगातार नाक के बाद ड्रिप. मुझे क्या करना चाहिए?", एलएलएम मॉडल जवाब दे सकता है, "मेरे चेहरे और आंखों में दर्द, और नाक के बाद ड्रिप नाक के लक्षण हो सकते हैं। कृपया एक डॉक्टर से परामर्श करें। सब कुछ इस बिंदु तक सामान्य लगता है. लेकिन अगर हम मॉडल से पूछते हैं, "आपने यह जवाब क्यों दिया?", इस उत्तर के बाद, चीजें जटिल हो जाती हैं. मॉडल ने इस उत्तर प्रदान करने का कारण यह है कि शब्द "आंख दर्द" और "नास ड्रिप" अक्सर प्रशिक्षण डेटा में शब्द "सिनोसिसिटिस" के साथ दिखाई देते हैं. ये मॉडल अपनी स्मृति में जानकारी को एक सांख्यिकीय पैटर्न के रूप में संग्रहीत करना पसंद करते हैं. एलएलएम मॉडल के लिए गणितीय अभिव्यक्तियाँ महत्वपूर्ण हैं. चूंकि यह स्रोतों के आधार पर अपनी स्मृति में जानकारी संग्रहीत करना पसंद नहीं करता है, इसलिए यह सवाल का जवाब देता है और अधिकांश लोगों को तुरंत संतुष्ट करता है, लेकिन जब अधिक जांच प्रकृति वाले लोग मॉडल से पूछते हैं, "आपने यह जवाब क्यों दिया?", मॉडल किसी भी स्पष्टीकरण जवाब का उत्पादन नहीं करता है। RAG: रीट्रीवल सिस्टम के साथ एलएलएम का संयोजन आरएजी सिस्टम शुद्ध एलएलएम मॉडल पर बनाए गए सिस्टम की तुलना में नवाचार प्रदान करते हैं। इनमें से एक यह है कि वे एलएलएम मॉडल की तरह स्थिर जानकारी के बजाय गतिशील जानकारी के साथ काम करते हैं। दूसरे शब्दों में, वे उन डेटा पर सीमित होने के बिना बाहरी स्रोतों को भी स्कैन करते हैं जिन पर उन्हें प्रशिक्षित किया गया था। आरएजी में पहला "आर" खोज के लिए संदर्भित होता है। जनरेटर दूसरा मुख्य घटक है, और इसका कार्य डेटा रिकॉर्डिंग रिटर्न के आधार पर सही जवाब उत्पन्न करना है. इस लेख में, हम RAG के संचालन सिद्धांत पर संक्षिप्त रूप से छूने जा रहे हैं: रिकॉर्डिंग बाहरी स्रोतों से जानकारी स्कैन करता है और उपयोगकर्ता के प्रश्न के लिए प्रासंगिक दस्तावेजों को "chunks" नामक छोटे टुकड़ों में तोड़कर प्राप्त करता है। यह इन टुकड़ों और उपयोगकर्ता के प्रश्न को वेक्टरित करता है, और फिर उन दोनों के बीच फिट की जांच करके सबसे कुशल जवाब उत्पन्न करता है। जवाब उत्पन्न करने का यह कार्य "जाति" द्वारा किया जाता है। हम इस श्रृंखला के अगले लेख में इसे विस्तृत रूप से चर्चा करेंगे। RAG सिस्टम का गठन करने वाले ये बुनियादी घटक इसे एक मजबूत संरचना बनाते हैं। वे उन्हें शुद्ध एलएलएम मॉडल की तरह स्थिर जानकारी में फंस जाने से रोकते हैं। RAG सिस्टम महत्वपूर्ण लाभ प्रदान करते हैं, खासकर कई क्षेत्रों में जिनके लिए अद्यतन जानकारी की आवश्यकता होती है। उदाहरण के लिए, आप चिकित्सा क्षेत्र में एक डॉक्टर के मॉडल का निर्माण करना चाहते हैं। क्योंकि आपका मॉडल एक महत्वपूर्ण क्षेत्र की सेवा करेगा, इसमें पुराने या अपूर्ण जानकारी नहीं होगी. चिकित्सा दुनिया, आईटी क्षेत्र की तरह, हर दिन विकसित हो रही है, और नए अध्ययन पेश किए जा रहे हैं. इसलिए, आपके मॉडल को नवीनतम अध्ययनों को भी मास्टर करने की उम्मीद है. अन्यथा, आप एक भ्रमित मॉडल के साथ मानव जीवन को खतरे में डालने का जोखिम उठाते हैं. ऐसे मामलों में, आरएजी समर्थित सिस्टम बाहरी डेटाबेस से कनेक्ट करके पुराने जानकारी की समस्या को खत्म करते हैं. आरएजी प्रणालियों और एलएलएम मॉडल के बीच मौलिक अंतर आरएजी की मुख्य दर्शन है: "इसे संग्रहीत न करें, जब आपको इसकी आवश्यकता होती है तो इसे एक्सेस करें!" जबकि शुद्ध बड़े भाषा मॉडल अपनी स्मृति में जानकारी संग्रहीत करते हैं और प्रशिक्षित होने के बाद जवाब पैदा करते हैं, आरएजी प्रणालियों को जानकारी को खोजने और जब भी उन्हें इसकी आवश्यकता होती है तो बाहर स्कैनिंग करके पहुंचना, उनकी दर्शन के अनुसार। इंटरनेट पर एक मानव खोज की तरह, यह शुद्ध एलएलएम मॉडल के सबसे महत्वपूर्ण नुकसानों में से एक को दूर करता है: उनकी स्मृति पर निर्भरता। दृश्य : उपयोगकर्ता: "अमेरिका के दिसंबर 2024 के मुद्रास्फीति दर क्या है? एलएलएम: "मई 2022 के आंकड़ों के अनुसार, यह 6.5% था" (एक अद्यतन उत्तर नहीं है) रैग : Retrieves December 2024 data from a reliable source or database (World Bank, Trading Economics, etc.). एलएलएम इन डेटा का उपयोग करता है और जवाब देता है, "ट्रेडिंग इकोनॉमिक्स के अनुसार, संयुक्त राज्य अमेरिका में दिसंबर 2024 के लिए मुद्रास्फीति 2.9% के रूप में घोषणा की जाती है। Scenario: User: "What is the United States' December 2024 inflation rate?" LLM: "According to December 2022 data, it was 6.5%." (Not an up-to-date answer) RAG: एक विश्वसनीय स्रोत या डेटाबेस (विश्व बैंक, ट्रेडिंग अर्थव्यवस्था, आदि) से दिसंबर 2024 डेटा प्राप्त करता है। एलएलएम इन डेटा का उपयोग करता है और जवाब देता है, "ट्रेडिंग इकोनॉमिक्स के अनुसार, संयुक्त राज्य अमेरिका में दिसंबर 2024 के लिए मुद्रास्फीति 2.9% के रूप में घोषणा की जाती है। चलो संक्षिप्त रूप से तुलना करते हैं जो हमने अब तक चर्चा की है और इसे नीचे दिए गए तालिका में प्रस्तुत करते हैं। Features LLM (static model) RAG (retrieval-augmented generation) Information Limited to training data Can pull real-time information from external sources Current Level Low High Transparency The source of the decision cannot be disclosed (black box) The source can be cited जानकारी प्रशिक्षण डेटा के लिए सीमित बाहरी स्रोतों से वास्तविक समय में जानकारी निकाल सकते हैं वर्तमान स्तर कम उच्च पारदर्शिता निर्णय के स्रोत का खुलासा नहीं किया जा सकता है (ब्लैक बॉक्स) स्रोत का उल्लेख किया जा सकता है अंत में, संक्षेप में, जबकि एलएलएम मॉडल उन डेटा पर सीमित हैं जिन पर उन्हें प्रशिक्षित किया जाता है, आरएजी सिस्टम न केवल एक विशिष्ट एलएलएम मॉडल पर बनाए गए हैं और बुनियादी ज्ञान हैं, बल्कि बाहरी स्रोतों से वास्तविक समय में जानकारी खींचने की क्षमता भी हैं। यह लाभ यह सुनिश्चित करता है कि यह हमेशा अद्यतन है। यह हमारी श्रृंखला का पहला लेख समाप्त करता है। अगले लेख में, हम अधिक तकनीकी पहलुओं में डुबकी देंगे। मित्रों के लिए जो इस काम के अभ्यास को एक्सेस करना चाहते हैं या जांचना चाहते हैं, वे लेख के अंत में अपने जीटहब खाते में पियथन और संबंधित पुस्तकालयों के साथ बनाए गए प्रासंगिक रिपो के लिंक पा सकते हैं। मैं आपको श्रृंखला के अगले लेख में देखना चाहता हूं। मिथिन यूरुडुसवेन आगे पढ़ने "हम फेसबुक के एआई के 2020 आरएजी दस्तावेज़ के बुनियादी योगदान को भी स्वीकार करना चाहते हैं, जिसने इस लेख की परिप्रेक्ष्य को महत्वपूर्ण रूप से सूचित किया। GitHub के बारे में RAG चैटबॉट परियोजना PDF RAG चैटबोट प्रोजेक्ट