बड़े भाषा मॉडल और उनकी प्रभावशाली क्षमताओं के उदय के साथ, ओपनएआई और एंथ्रोपिक जैसे विशाल एलएलएम प्रदाताओं के शीर्ष पर कई फैंसी एप्लिकेशन बनाए जा रहे हैं। ऐसे अनुप्रयोगों के पीछे का मिथक आरएजी ढांचा है, जिसे निम्नलिखित लेखों में पूरी तरह से समझाया गया है:

• उत्पादन के लिए आरएजी-आधारित एलएलएम अनुप्रयोगों का निर्माण
• पुनर्प्राप्ति संवर्धित पीढ़ी (आरएजी) की व्याख्या: प्रमुख अवधारणाओं को समझना
• पुनर्प्राप्ति-संवर्धित पीढ़ी क्या है?

आरएजी से परिचित होने के लिए, मैं इन लेखों को पढ़ने की सलाह देता हूं। हालाँकि, यह पोस्ट मूल बातें छोड़ देगी और आपको अपना स्वयं का RAG एप्लिकेशन बनाने के लिए सीधे मार्गदर्शन करेगी जो डेटा गोपनीयता और टोकन लागत के बारे में किसी भी चिंता के बिना आपके लैपटॉप पर स्थानीय रूप से चल सकता है।

हम एक ऐसा एप्लिकेशन बनाएंगे जो चैटपीडी एफ जैसा ही होगा लेकिन सरल होगा। जहां उपयोगकर्ता एक पीडीएफ दस्तावेज़ अपलोड कर सकते हैं और एक सीधे यूआई के माध्यम से प्रश्न पूछ सकते हैं। लैंगचैन, ओलामा और स्ट्रीमलिट के साथ हमारा तकनीकी स्टैक बेहद आसान है।

• एलएलएम सर्वर : इस ऐप का सबसे महत्वपूर्ण घटक एलएलएम सर्वर है। करने के लिए धन्यवाद ओलामा , हमारे पास एक मजबूत एलएलएम सर्वर है जिसे स्थानीय स्तर पर, यहां तक कि लैपटॉप पर भी स्थापित किया जा सकता है। जबकि लामा.सीपीपी एक विकल्प है, मुझे गो में लिखा ओलामा लगता है, जिसे स्थापित करना और चलाना आसान है।

• आरएजी : निस्संदेह, एलएलएम डोमेन में दो अग्रणी पुस्तकालय हैं लैंगचैन और एलएलएमइंडेक्स . इस परियोजना के लिए, मैं अपने पेशेवर अनुभव से परिचित होने के कारण लैंगचैन का उपयोग करूंगा। किसी भी RAG ढांचे का एक अनिवार्य घटक वेक्टर भंडारण है। हम प्रयोग करेंगे क्रोमा यहाँ, क्योंकि यह लैंगचैन के साथ अच्छी तरह से एकीकृत है।

• चैट यूआई : यूजर इंटरफेस भी एक महत्वपूर्ण घटक है। हालाँकि कई प्रौद्योगिकियाँ उपलब्ध हैं, मैं उनका उपयोग करना पसंद करता हूँ स्ट्रीमलाइट , मन की शांति के लिए एक पायथन लाइब्रेरी।

ठीक है, आइए इसे सेट करना शुरू करें।

सेटअप ओलामा

जैसा कि ऊपर उल्लेख किया गया है, ओलामा को स्थापित करना और चलाना सीधा है। पहली यात्रा ollama.ai और अपने ऑपरेटिंग सिस्टम के लिए उपयुक्त ऐप डाउनलोड करें।

इसके बाद, अपना टर्मिनल खोलें, और नवीनतम को खींचने के लिए निम्नलिखित कमांड निष्पादित करें मिस्ट्रल-7बी . जबकि और भी कई हैं एलएलएम मॉडल उपलब्ध हैं , मैं मिस्ट्रल-7बी को इसके कॉम्पैक्ट आकार और प्रतिस्पर्धी गुणवत्ता के लिए चुनता हूं।

 ollama pull mistral

बाद में, यह सत्यापित करने के लिए ollama list चलाएँ कि मॉडल सही ढंग से खींचा गया था या नहीं। टर्मिनल आउटपुट निम्नलिखित जैसा होना चाहिए:

अब, यदि एलएलएम सर्वर पहले से नहीं चल रहा है, तो इसे ollama serve के साथ आरंभ करें। यदि आपको "Error: listen tcp 127.0.0.1:11434: bind: address already in use" जैसे त्रुटि संदेश का सामना करना पड़ता है, तो यह इंगित करता है कि सर्वर पहले से ही डिफ़ॉल्ट रूप से चल रहा है, और आप अगले चरण पर आगे बढ़ सकते हैं।

आरएजी पाइपलाइन का निर्माण करें

हमारी प्रक्रिया का दूसरा चरण RAG पाइपलाइन का निर्माण करना है। हमारे आवेदन की सरलता को देखते हुए, हमें मुख्य रूप से दो तरीकों की आवश्यकता है: ingest और ask ।

ingest विधि एक फ़ाइल पथ को स्वीकार करती है और इसे दो चरणों में वेक्टर स्टोरेज में लोड करती है: सबसे पहले, यह एलएलएम की टोकन सीमा को समायोजित करने के लिए दस्तावेज़ को छोटे टुकड़ों में विभाजित करती है; दूसरा, यह Qdant FastEmbeddings का उपयोग करके इन टुकड़ों को वेक्टराइज़ करता है और उन्हें Chroma में संग्रहीत करता है।

ask विधि उपयोगकर्ता के प्रश्नों को संभालती है। उपयोगकर्ता एक प्रश्न पूछ सकते हैं, और फिर पुनर्प्राप्तिQAChain वेक्टर समानता खोज तकनीकों का उपयोग करके प्रासंगिक संदर्भों (दस्तावेज़ खंड) को पुनः प्राप्त करता है।

उपयोगकर्ता के प्रश्न और पुनर्प्राप्त संदर्भों के साथ, हम एक संकेत बना सकते हैं और एलएलएम सर्वर से भविष्यवाणी का अनुरोध कर सकते हैं।

 from langchain.vectorstores import Chroma from langchain.chat_models import ChatOllama from langchain.embeddings import FastEmbedEmbeddings from langchain.schema.output_parser import StrOutputParser from langchain.document_loaders import PyPDFLoader from langchain.text_splitter import RecursiveCharacterTextSplitter from langchain.schema.runnable import RunnablePassthrough from langchain.prompts import PromptTemplate from langchain.vectorstores.utils import filter_complex_metadata class ChatPDF: vector_store = None retriever = None chain = None def __init__(self): self.model = ChatOllama(model="mistral") self.text_splitter = RecursiveCharacterTextSplitter(chunk_size=1024, chunk_overlap=100) self.prompt = PromptTemplate.from_template( """ <s> [INST] You are an assistant for question-answering tasks. Use the following pieces of retrieved context to answer the question. If you don't know the answer, just say that you don't know. Use three sentences maximum and keep the answer concise. [/INST] </s> [INST] Question: {question} Context: {context} Answer: [/INST] """ ) def ingest(self, pdf_file_path: str): docs = PyPDFLoader(file_path=pdf_file_path).load() chunks = self.text_splitter.split_documents(docs) chunks = filter_complex_metadata(chunks) vector_store = Chroma.from_documents(documents=chunks, embedding=FastEmbedEmbeddings()) self.retriever = vector_store.as_retriever( search_type="similarity_score_threshold", search_kwargs={ "k": 3, "score_threshold": 0.5, }, ) self.chain = ({"context": self.retriever, "question": RunnablePassthrough()} | self.prompt | self.model | StrOutputParser()) def ask(self, query: str): if not self.chain: return "Please, add a PDF document first." return self.chain.invoke(query) def clear(self): self.vector_store = None self.retriever = None self.chain = None

संकेत लैंगचैन हब से प्राप्त किया गया है: मिस्ट्रल के लिए लैंगचैन आरएजी प्रॉम्प्ट . एलएलएम प्रॉम्प्टिंग तकनीकों के बारे में सीखने के लिए एक विश्वसनीय संसाधन के रूप में काम करते हुए, इस प्रॉम्प्ट का हजारों बार परीक्षण और डाउनलोड किया गया है।

आप एलएलएम प्रॉम्प्टिंग तकनीकों के बारे में अधिक जान सकते हैं यहाँ .

कार्यान्वयन पर अधिक विवरण:

• ingest : हम उपयोगकर्ता द्वारा अपलोड की गई पीडीएफ फाइल को लोड करने के लिए PyPDFLoader का उपयोग करते हैं। लैंगचैन द्वारा प्रदान किया गया रिकर्सिव कैरेक्टरस्प्लिटर, फिर इस पीडीएफ को छोटे टुकड़ों में विभाजित करता है। लैंगचैन से filter_complex_metadata फ़ंक्शन का उपयोग करके ChromaDB द्वारा समर्थित नहीं किए गए जटिल मेटाडेटा को फ़िल्टर करना महत्वपूर्ण है।

  
  

  वेक्टर भंडारण के लिए, क्रोमा का उपयोग किया जाता है क्यूड्रेंट फास्टएम्बेड हमारे एम्बेडिंग मॉडल के रूप में। इस हल्के मॉडल को फिर 0.5 और k=3 की स्कोर सीमा के साथ एक रिट्रीवर में बदल दिया जाता है, जिसका अर्थ है कि यह 0.5 से ऊपर के उच्चतम स्कोर के साथ शीर्ष 3 टुकड़ों को लौटाता है। अंत में, हम इसका उपयोग करके एक सरल वार्तालाप श्रृंखला का निर्माण करते हैं एलईसीएल .

• ask : यह विधि बस उपयोगकर्ता के प्रश्न को हमारी पूर्वनिर्धारित श्रृंखला में भेजती है और फिर परिणाम लौटाती है।

• clear : इस विधि का उपयोग नई पीडीएफ फाइल अपलोड होने पर पिछले चैट सत्र और स्टोरेज को साफ़ करने के लिए किया जाता है।

एक सरल यूआई ड्राफ्ट करें

एक सरल उपयोगकर्ता इंटरफ़ेस के लिए, हम उपयोग करेंगे स्ट्रीमलाइट एआई/एमएल अनुप्रयोगों के तेज़ प्रोटोटाइप के लिए डिज़ाइन किया गया एक यूआई ढांचा।

 import os import tempfile import streamlit as st from streamlit_chat import message from rag import ChatPDF st.set_page_config(page_title="ChatPDF") def display_messages(): st.subheader("Chat") for i, (msg, is_user) in enumerate(st.session_state["messages"]): message(msg, is_user=is_user, key=str(i)) st.session_state["thinking_spinner"] = st.empty() def process_input(): if st.session_state["user_input"] and len(st.session_state["user_input"].strip()) > 0: user_text = st.session_state["user_input"].strip() with st.session_state["thinking_spinner"], st.spinner(f"Thinking"): agent_text = st.session_state["assistant"].ask(user_text) st.session_state["messages"].append((user_text, True)) st.session_state["messages"].append((agent_text, False)) def read_and_save_file(): st.session_state["assistant"].clear() st.session_state["messages"] = [] st.session_state["user_input"] = "" for file in st.session_state["file_uploader"]: with tempfile.NamedTemporaryFile(delete=False) as tf: tf.write(file.getbuffer()) file_path = tf.name with st.session_state["ingestion_spinner"], st.spinner(f"Ingesting {file.name}"): st.session_state["assistant"].ingest(file_path) os.remove(file_path) def page(): if len(st.session_state) == 0: st.session_state["messages"] = [] st.session_state["assistant"] = ChatPDF() st.header("ChatPDF") st.subheader("Upload a document") st.file_uploader( "Upload document", type=["pdf"], key="file_uploader", on_change=read_and_save_file, label_visibility="collapsed", accept_multiple_files=True, ) st.session_state["ingestion_spinner"] = st.empty() display_messages() st.text_input("Message", key="user_input", on_change=process_input) if __name__ == "__main__": page()

यह कैसा दिखता है यह देखने के लिए इस कोड को streamlit run app.py कमांड के साथ चलाएं।

ठीक है, यह बात है! अब हमारे पास एक ChatPDF एप्लिकेशन है जो पूरी तरह से आपके लैपटॉप पर चलता है। चूँकि यह पोस्ट मुख्य रूप से अपना स्वयं का RAG एप्लिकेशन बनाने का उच्च-स्तरीय अवलोकन प्रदान करने पर केंद्रित है, ऐसे कई पहलू हैं जिन्हें ठीक करने की आवश्यकता है। आप अपने ऐप को बेहतर बनाने और अपने कौशल को और विकसित करने के लिए निम्नलिखित सुझावों पर विचार कर सकते हैं:

• वार्तालाप श्रृंखला में मेमोरी जोड़ें : वर्तमान में, यह वार्तालाप प्रवाह को याद नहीं रखता है। अस्थायी मेमोरी जोड़ने से आपके सहायक को संदर्भ से अवगत होने में मदद मिलेगी।

• एकाधिक फ़ाइल अपलोड की अनुमति दें : एक समय में एक दस्तावेज़ के बारे में बातचीत करना ठीक है। लेकिन कल्पना करें कि अगर हम कई दस्तावेज़ों के बारे में बात कर सकें - तो आप अपना पूरा बुकशेल्फ़ वहां रख सकते हैं। यह बहुत अच्छा होगा!

• अन्य एलएलएम मॉडल का उपयोग करें : जबकि मिस्ट्रल प्रभावी है, कई अन्य विकल्प भी उपलब्ध हैं। आपको एक ऐसा मॉडल मिल सकता है जो आपकी आवश्यकताओं के लिए बेहतर रूप से फिट बैठता है, जैसे डेवलपर्स के लिए LlamaCode। हालाँकि, याद रखें कि मॉडल का चुनाव आपके हार्डवेयर पर निर्भर करता है, विशेषकर आपके पास रैम की मात्रा पर

• आरएजी पाइपलाइन को बढ़ाएं : आरएजी के भीतर प्रयोग के लिए जगह है। हो सकता है कि आप पुनर्प्राप्ति मीट्रिक, एम्बेडिंग मॉडल को बदलना चाहें.. या परिणामों को बेहतर बनाने के लिए री-रैंकर जैसी परतें जोड़ना चाहें।

अंत में, पढ़ने के लिए धन्यवाद। यदि आपको यह जानकारी उपयोगी लगती है, तो कृपया मेरी सदस्यता लेने पर विचार करें सबस्टैक या मेरा निजी ब्लॉग . मैं आरएजी और एलएलएम अनुप्रयोगों के बारे में और अधिक लिखने की योजना बना रहा हूं, और नीचे एक टिप्पणी छोड़ कर विषयों का सुझाव देने के लिए आपका स्वागत है। प्रोत्साहित करना!

पूर्ण स्रोत कोड: https://github.com/vndee/local-rag-example