अपने कंप्यूटर पर एक बड़े भाषा मॉडल (एलएलएम) चलाना अब पहले से कहीं आसान है। आपको अब एक क्लाउड सदस्यता या एक विशाल सर्वर की आवश्यकता नहीं है. बस अपने पीसी के साथ, आप ललामा, मिस्ट्राल, या Phi जैसे मॉडल चला सकते हैं, निजी रूप से और ऑफ़लाइन। यह गाइड आपको दिखाएगा कि एक खुले स्रोत एलएलएम को स्थानीय रूप से कैसे सेट करें, शामिल उपकरणों को समझाएं, और आपको यूआई और कमांड लाइन स्थापना विधियों दोनों के माध्यम से जाने दें। हम क्या कवर करेंगे ओपन सोर्स एलएलएम को समझना स्थानीय रूप से एलएलएम चलाने के लिए एक मंच चुनना Ollama को स्थापित करें कमांड लाइन के माध्यम से एलएलएम स्थापित करना और चलाना मॉडल और संसाधनों का प्रबंधन अन्य अनुप्रयोगों के साथ Ollama का उपयोग करना समस्या निवारण और आम मुद्दों एलएलएम को स्थानीय रूप से क्यों चलाना महत्वपूर्ण है निष्कर्ष ओपन सोर्स एलएलएम को समझना एक ओपन सोर्स बड़े भाषा मॉडल एक प्रकार का एआई है जो पाठ को समझ सकता है और उत्पन्न कर सकता है, चैटजीपीटी की तरह. लेकिन यह बाहरी सर्वरों पर निर्भर किए बिना काम कर सकता है. आप मॉडल फ़ाइलें डाउनलोड कर सकते हैं, उन्हें अपने मशीन पर चला सकते हैं, और यहां तक कि उन्हें अपने उपयोग के मामले के लिए अच्छी तरह से समायोजित कर सकते हैं। Llama 3, Mistral, Gemma, और Phi जैसे परियोजनाओं ने उन मॉडल को चलाने की अनुमति दी है जो उपभोक्ता हार्डवेयर पर अच्छी तरह से फिट होते हैं. आप सीपीयू पर चलने वाले छोटे मॉडल या जीपीयू से लाभ उठाने वाले बड़े मॉडल के बीच चयन कर सकते हैं. इन मॉडल को स्थानीय रूप से चलाना आपको गोपनीयता, नियंत्रण और लचीलापन देता है. यह डेवलपर्स को अपने एप्लिकेशन में एआई सुविधाओं को एकीकृत करने में भी मदद करता है, बिना क्लाउड एपीआई पर भरोसा करने के। स्थानीय रूप से एलएलएम चलाने के लिए एक मंच चुनना एक ओपन सोर्स मॉडल को चलाने के लिए, आपको एक मंच की आवश्यकता है जो इसे लोड कर सकता है, इसके मापदंडों का प्रबंधन कर सकता है, और इसके साथ बातचीत करने के लिए एक इंटरफ़ेस प्रदान कर सकता है। स्थानीय सेटिंग के लिए तीन लोकप्रिय विकल्प हैं: Ollama — एक उपयोगकर्ता के अनुकूल प्रणाली जो OpenAI GPT OSS, Google Gemma जैसे मॉडल को एक कमान के साथ चलाता है. इसमें एक विंडोज UI और CLI संस्करण दोनों हैं. LM स्टूडियो — उन लोगों के लिए एक ग्राफिक डेस्कटॉप एप्लिकेशन जो एक बिंदु-और-क्लिक इंटरफ़ेस पसंद करते हैं। Gpt4All — एक और लोकप्रिय GUI डेस्कटॉप अनुप्रयोग। हम इस गाइड में ओलामा का उपयोग उदाहरण के रूप में करेंगे क्योंकि यह व्यापक रूप से समर्थित है और आसानी से अन्य उपकरणों के साथ एकीकृत होता है। Ollama को स्थापित करें एक-क्लिक इंस्टॉलर प्रदान करता है जो आपको स्थानीय मॉडल चलाने के लिए आवश्यक सब कुछ सेट करता है। ओलामा आधिकारिक ओलामा वेबसाइट पर जाएं और विंडोज इंस्टॉलर डाउनलोड करें। एक बार डाउनलोड करने के बाद, इंस्टॉल शुरू करने के लिए फ़ाइल पर डबल-क्लिक करें. इंस्टॉल गाइड आपको प्रक्रिया के माध्यम से मार्गदर्शन करेगा, जो केवल कुछ मिनट लगेंगे. जब स्थापना समाप्त हो जाती है, तो ओलामा पृष्ठभूमि में एक स्थानीय सेवा के रूप में चलाया जाएगा. आप इसे या तो इसके ग्राफिक डेस्कटॉप इंटरफ़ेस के माध्यम से या कमांड लाइन का उपयोग करके एक्सेस कर सकते हैं. Ollama स्थापित करने के बाद, आप प्रारंभ मेनू से एप्लिकेशन खोल सकते हैं. UI शुरुआती लोगों के लिए स्थानीय मॉडल के साथ बातचीत शुरू करने के लिए आसान बनाता है. ओलामा इंटरफ़ेस के अंदर, आप एक सरल पाठ बॉक्स देखेंगे जहां आप प्रोत्साहन टाइप कर सकते हैं और जवाब प्राप्त कर सकते हैं। डाउनलोड करने और एक मॉडल का उपयोग करने के लिए, बस इसे सूची से चुनें Ollama स्वचालित रूप से मॉडल वजन उठाएगा और उन्हें स्मृति में लोड करेगा। पहली बार जब आप एक प्रश्न पूछते हैं, तो यह मॉडल डाउनलोड करेगा यदि यह मौजूद नहीं है। . मॉडल खोज पृष्ठ मैं इसका उपयोग करूंगा मॉडल, जो ओलामा में उपलब्ध सबसे छोटा मॉडल है। गीता 270 मीटर आप मॉडल को पहली बार उपयोग करते समय डाउनलोड किया जा रहा देख सकते हैं. मॉडल के आकार और आपके सिस्टम के प्रदर्शन के आधार पर, यह कुछ मिनट लग सकते हैं. एक बार लोड किया गया है, आप चैट शुरू कर सकते हैं या कार्यों को सीधे यूआई के भीतर चला सकते हैं. यह एक सामान्य चैट विंडो की तरह दिखने और महसूस करने के लिए डिज़ाइन किया गया है, लेकिन सब कुछ आपके पीसी पर स्थानीय रूप से चलता है. मॉडल को डाउनलोड करने के बाद आपको इंटरनेट कनेक्शन की आवश्यकता नहीं है। कमांड लाइन के माध्यम से एलएलएम स्थापित करना और चलाना यदि आप अधिक नियंत्रण पसंद करते हैं, तो आप ओलामा कमांड लाइन इंटरफ़ेस (सीएलआई) का उपयोग कर सकते हैं. यह डेवलपर्स या उन लोगों के लिए उपयोगी है जो स्क्रिप्ट और कार्य प्रवाहों में स्थानीय मॉडल एकीकृत करना चाहते हैं. कमांड लाइन को खोलने के लिए, विंडोज में "Command Prompt" या "PowerShell" खोजें और इसे चलाएं. अब आप सरल कमांडों का उपयोग करके Ollama के साथ बातचीत कर सकते हैं. जांचने के लिए कि क्या स्थापना काम कर रही है, टाइप करें: ollama --version यदि आप एक संस्करण संख्या देखते हैं, तो Ollama तैयार है. अगला, अपने पहले मॉडल को चलाने के लिए, pull कमांड का उपयोग करें: ollama pull gemma3:270m यह आपके मशीन पर Gemma मॉडल डाउनलोड करेगा। जब प्रक्रिया समाप्त हो जाती है, तो इसे शुरू करें: ollama run gemma3:270m ओलामा मॉडल लॉन्च करेगा और एक इंटरैक्टिव प्रिंट खोलेगा जहां आप संदेश टाइप कर सकते हैं। सब कुछ स्थानीय रूप से होता है, और आपके डेटा आपके कंप्यूटर को कभी नहीं छोड़ते हैं। आप टाइप करके किसी भी समय मॉडल को रोक सकते हैं . /bye मॉडल और संसाधनों का प्रबंधन प्रत्येक मॉडल जिसे आप डाउनलोड करते हैं, डिस्क स्थान और मेमोरी लेता है। Phi-3 मिनी या Gemma 2B जैसे छोटे मॉडल हल्के होते हैं और अधिकांश उपभोक्ता लैपटॉप के लिए उपयुक्त होते हैं। आप निम्नलिखित का उपयोग करके सभी स्थापित मॉडल सूचीबद्ध कर सकते हैं: ollama list और एक को हटा दें जब आपको अब इसकी आवश्यकता नहीं है: ollama rm model_name यदि आपके पीसी में सीमित रैम है, तो सबसे पहले छोटे मॉडल चलाने का प्रयास करें. आप गति और सटीकता के बीच सही संतुलन खोजने के लिए विभिन्न मॉडल के साथ प्रयोग कर सकते हैं. अन्य अनुप्रयोगों के साथ Ollama का उपयोग करना एक बार जब आप Ollama स्थापित करते हैं, तो आप इसे चैट इंटरफ़ेस से परे उपयोग कर सकते हैं. डेवलपर्स एपीआई और स्थानीय पोर्ट्स का उपयोग करके उससे कनेक्ट कर सकते हैं. Ollama एक स्थानीय सर्वर पर चलाता है इसका मतलब है कि आप अपने स्वयं के स्क्रिप्ट या अनुप्रयोगों से अनुरोध भेज सकते हैं। http://localhost:11434 उदाहरण के लिए, एक सरल पायथन स्क्रिप्ट स्थानीय मॉडल को इस तरह बुला सकता है: import requests, json # Define the local Ollama API endpoint url = "http://localhost:11434/api/generate" # Send a prompt to the Gemma 3 model payload = { "model": "gemma3:270m", "prompt": "Write a short story about space exploration." } # stream=True tells requests to read the response as a live data stream response = requests.post(url, json=payload, stream=True) # Ollama sends one JSON object per line as it generates text for line in response.iter_lines(): if line: data = json.loads(line.decode("utf-8")) # Each chunk has a "response" key containing part of the text if "response" in data: print(data["response"], end="", flush=True)This setup turns your computer into a local AI engine. You can integrate it with chatbots, coding assistants, or automation tools without using external APIs. समस्या निवारण और आम मुद्दों यदि आपके पास मॉडल चलाने में समस्याएं हैं, तो पहले अपने सिस्टम संसाधनों की जाँच करें. मॉडल को सही ढंग से लोड करने के लिए पर्याप्त रैम और डिस्क स्थान की आवश्यकता होती है. अन्य ऐप्स को बंद करना स्मृति को मुक्त करने में मदद कर सकता है. कभी-कभी, एंटीवायरस सॉफ्टवेयर स्थानीय नेटवर्क पोर्ट्स को अवरुद्ध कर सकता है. यदि Ollama शुरू नहीं करता है, तो इसे अनुमतिित कार्यक्रमों की सूची में जोड़ें. यदि आप CLI का उपयोग करते हैं और GPU ड्राइवरों के बारे में त्रुटि देखते हैं, तो सुनिश्चित करें कि आपके ग्राफिक्स ड्राइवर अद्यतन हैं. Ollama सीपीयू और GPU निष्पादन दोनों का समर्थन करता है, लेकिन अद्यतन ड्राइवरों के साथ प्रदर्शन में सुधार होता है. एलएलएम को स्थानीय रूप से क्यों चलाना महत्वपूर्ण है स्थानीय रूप से एलएलएम चलाने से आप एआई के साथ काम करने का तरीका बदलता है। आप अब एपीआई लागत या दर सीमाओं से बाध्य नहीं हैं. यह डेवलपर्स के लिए आदर्श है जो तेजी से प्रोटोटाइप करना चाहते हैं, शोधकर्ताओं को सटीक ट्यूनिंग का पता लगाने के लिए, या शौकिया जो गोपनीयता को महत्व देते हैं। स्थानीय मॉडल ऑफ़लाइन वातावरण के लिए भी महान हैं. आप त्वरित डिजाइन के साथ प्रयोग कर सकते हैं, सामग्री उत्पन्न कर सकते हैं, या इंटरनेट कनेक्शन के बिना एआई-सक्षम ऐप्स का परीक्षण कर सकते हैं. जब हार्डवेयर में सुधार होता है और ओपन सोर्स समुदाय बढ़ते हैं, तो स्थानीय एआई अधिक शक्तिशाली और सुलभ हो जाएगा। निष्कर्ष ओलामा और एलएम स्टूडियो जैसे उपकरणों के साथ, आप एक मॉडल डाउनलोड कर सकते हैं, इसे स्थानीय रूप से चला सकते हैं, और मिनटों में पाठ उत्पन्न करना शुरू कर सकते हैं। यूआई शुरुआती लोगों के लिए अनुकूल बनाता है, जबकि कमांड लाइन डेवलपर्स के लिए पूर्ण नियंत्रण प्रदान करती है. चाहे आप एक ऐप बना रहे हों, विचारों का परीक्षण कर रहे हों, या व्यक्तिगत उपयोग के लिए एआई का पता लगा रहे हों, मॉडल को स्थानीय रूप से चलाने से सब कुछ आपके हाथ में हो जाता है, यह तेजी से, निजी और लचीला बनाता है। उम्मीद है कि आपको यह लेख पसंद आएगा। एआई पर अधिक व्यावहारिक ट्यूटोरियल के लिए मेरे मुफ्त समाचार पत्र TuringTalks.ai के लिए साइन अप करें। मेरे मुफ्त Newsletter के लिए साइन अप करें AI पर अधिक हाथों पर ट्यूटोरियल के लिए। ट्यूनिंग.या ट्यूनिंग.या
