Компьютерийн Big Language Model (LLM) ажиллуулах нь одоо ч илүү хялбар юм. Та одоо ч хөнгөн захиалгыг эсвэл том сервер хэрэгтэй биш юм. Таны компьютер нь та Llama, Mistral, эсвэл Phi гэх мэт загварууд нь хувийн болон офлайн ажиллуулах боломжтой. Энэ гарын авлага нь танд орон нутгийн дээр open-source LLM-ийг тохируулах вэ, холбоотой арга хэрэгслүүдийг тайлбарлах вэ, UI болон командны шугам суулгах арга хэрэгслүүд хооронд туслах вэ. Бид хуваалцах Зөвлөгөө Open Source LLMs LLM-ийг орон нутгийн хувьд ажиллуулах платформ сонгох Ollama суулгах Command Line дамжуулан LLM-ийг суулгах, ажиллуулах Модели, эрчим хүчний менежмент Ollama-ийг бусад хэрэглээнд ашиглах Судалгааны шийдэл, нийтлэг асуудал Хэрхэн LLM-ийг орон нутгийн чухал Баримтлал Зөвлөгөө Open Source LLMs Open-source том хэлний загвар нь ChatGPT-тэй харьцуулахад текстийг үүсгэхийн тулд AI-ийн төрөл юм. Гэхдээ энэ нь гадааны серверүүдээс тохиромжтой ажиллах болно. Та загварын файлуудыг татаж авах, таны машин дээр ажиллуулах, тэр ч байтугай таны хэрэглээний тохиолдолд тохируулах боломжтой. Llama 3, Mistral, Gemma, Phi гэх мэт төсөл нь хэрэглэгчийн тоног төхөөрөмж дээр сайн тохиромжтой загварууд ажиллуулах боломжийг олгодог. Та CPU-г ажиллуулсан бага загварууд, GPU-ээс ашигтай том загварууд хооронд сонгож болно. Эдгээр загварууд нь локалтай ажиллуулахын тулд танд аюулгүй байдал, хяналт, гүнзгий олгодог. Энэ нь хөгжүүлэгчдэд хөнгөн API-ийг хэрэглээнд суурилсангүйгээр AI шинж чанарыг нэгтгэхийн тулд туслах тусалдаг. LLM-ийг орон нутгийн хувьд ажиллуулах платформ сонгох Open-source загварыг ажиллуулахын тулд энэ нь татаж, параметрийг удирдах, нь интерфэйс хангах боломжтой платформ хэрэгтэй. Хотын суурилуулахын тулд гурван алдартай сонголт: Ollama — OpenAI GPT OSS, Google Gemma гэх мэт загварууд ажиллуулах хэрэглэгчийн найдвартай систем. Энэ нь Windows UI болон CLI хувилбартай байдаг. LM Studio — график ширээний хэрэглээ нь тавтай морилно уу интерфэйс дуртай хүмүүст зориулсан. Gpt4All — бусад алдартай GUI ширээний програм. Бид энэ гарын авлагад Ollama-ийг жишээ болгон ашиглах болно. Энэ нь өргөн дэмжлэгтэй бөгөөд бусад хэрэгслүүдтэй хялбар integrates. Ollama суулгах нь нэг клик суулгах програм хангамж, Та локал загварыг ажиллуулахын тулд хэрэгтэй бүх зүйлийг тохируулах. Үнэгүй Оролдамгийн албан ёсны вэбсайт зочилж, Windows Installer татаж авах. Татаж авах дараа, файлыг хоёр тусламж, суулгах эхлэх. Setup wizard таний үйл явцыг дамжуулан гарын авлага болно, Энэ нь зөвхөн хэд хэдэн минут байх болно. Энэхүү суулгах дараа Ollama нь орон нутгийн үйлчилгээ гэж фоноор ажиллуулж болно. Та график ширээний интерфэйсээр эсвэл оршин суурийг ашиглаж болно. Ollama суулгах дараа, Та Start Menu-аас апп-ийг нээж болно. UI нь эхлэгчдэд орон нутгийн загваруудтай интеракцийг эхлэхэд хялбар болгодог. Ollama интерфэйс дотор та зүгээр л текст хайрцаг үзнэ үү. Та илгээх, хариу авах боломжтой. Та бас боломжтой загварууд жагсаалтыг жагсаалтыг байна. загварыг татаж авах, ашиглахын тулд, зүгээр л жагсаалт нь сонгоно. Ollama автоматаар загварын жин авч, памын дээр татаж авах болно. Хэрэв та анх удаа асуултуудыг хүсч байгаа бол энэ нь загварыг татаж авах болно. Та загварыг сонгож болно . Модель хайлтын хуудас Би үүнийг ашиглаж болно загвар, Ollama-д боломжтой хамгийн бага загвар юм. Хавтгай 270м Та эхний удаа ашиглах үед загварыг татаж авах болно. загварын хэмжээ, систем гүйцэтгэлийн дагуу, энэ нь хэд хэдэн минут байх болно. Татаж авсан дараа, тавтай морилно уу, үйл явцыг шууд интерфэйс дотор ажиллуулах боломжтой. Энэ нь харьцангуй чат хавтан харах, мэдэрч байна, гэхдээ бүх зүйл таны компьютер дээр орон нутгийн ажиллуулах болно. Та загварыг татаж авах дараа интернет холболт хэрэгтэйгүй. Command Line дамжуулан LLM-ийг суулгах, ажиллуулах Хэрэв та илүү хяналтыг хүсэж байгаа бол Ollama-ийн командны шугам интерфэйс (CLI) ашиглан ашиглаж болно. Энэ нь хөгжүүлэгчид, эсвэл орон нутгийн загварууд скриптах, ажлын үйл явцд нэгтгэхыг хүсэж байгаа хүмүүст ашигтай юм. Командны шугам нээхын тулд Windows-д "Command Prompt" эсвэл "PowerShell" -ийг хайж, энэ нь ажиллуулах болно. Инсталацийг ажиллаж байгаа эсэхийг шалгахын тулд: ollama --version Хэрэв та хувилбар тоо үзнэ үү, Ollama бэлэн байна. Дараа нь, таны анхны загварыг ажиллуулахын тулд pull орлогдсон: ollama pull gemma3:270m Энэ нь Gemma загвар таны машин дээр татаж авах болно. үйл явц дууссан үед, энэ нь эхэлнэ: ollama run gemma3:270m Ollama загварыг эхэлж, та хэлбэрийн хуваалцах боломжтой интерактив хэлбэрийг нээж болно. Бүх зүйл нь локалтай байдаг, таны өгөгдөл таны компьютерийг хоосон биш юм. Та ямар ч үед загварууд татаж авах болно . /bye Модели, эрчим хүчний менежмент Та татаж авах бүх загвар нь диск орон сууц, хадгаламжийн байрладаг. Phi-3 Mini эсвэл Gemma 2B гэх мэт жижиг загварууд нь хөнгөн, хамгийн хэрэглэгчийн ноутбуудын хувьд тохиромжтой байдаг. Mistral 7B эсвэл Llama 3 8B гэх мэт том загварууд нь илүү хүчтэй GPU-ийг эсвэл өндөр чанартай CPU-ийг шаарддаг. Та бүх суулгах загварыг ашиглаж болно: ollama list Идэвхжүүлэхийн тулд энэ нь ямар ч шаардлагагүй бол: ollama rm model_name Хэрэв таны компьютер нь хязгаарлагдмал RAM-тэй байгаа бол, хамгийн бага загварууд эхлээд ажиллуулахын тулд туршиж болно. Та хурд, нарийвчлал хооронд зөв баланс олж авахын тулд өөр өөр загваруудтай туршиж болно. Ollama-ийг бусад хэрэглээнд ашиглах Ollama-ийг суулгасан дараа та чат интерфэйсээс гадна энэ нь ашиглаж болно. Developer нь API-ийг болон орон нутгийн портыг ашиглан энэ нь холбож болно. Ollama нь орон нутгийн сервер дээр ажиллуулдаг Энэ нь та өөрийн скрипт эсвэл апп-аас хүсэлтийг илгээж болно. http://localhost:11434 Жишээ нь, хялбар Python скрипт нь орон нутгийн загварыг тавтай морилно уу: import requests, json # Define the local Ollama API endpoint url = "http://localhost:11434/api/generate" # Send a prompt to the Gemma 3 model payload = { "model": "gemma3:270m", "prompt": "Write a short story about space exploration." } # stream=True tells requests to read the response as a live data stream response = requests.post(url, json=payload, stream=True) # Ollama sends one JSON object per line as it generates text for line in response.iter_lines(): if line: data = json.loads(line.decode("utf-8")) # Each chunk has a "response" key containing part of the text if "response" in data: print(data["response"], end="", flush=True)This setup turns your computer into a local AI engine. You can integrate it with chatbots, coding assistants, or automation tools without using external APIs. Судалгааны шийдэл, нийтлэг асуудал Хэрэв та загварыг ажиллуулахын тулд асуудалтай бол эхлээд системийн ресурсын шалгана уу. загварууд нь тохиромжтой ачаалал авахын тулд хялбар RAM-ийг, диск орон сууц хэрэгтэй. Өөр өөр апп-ийг сэргээх нь мэдрэмжийг сэргээхэд туслах болно. Зарим тохиолдолд антивирусны програм хангамж нь локал сүлжээний порт блокирах боломжтой. Ollama-ийг эхлэхгүй бол энэ нь зөвшөөрсөн програмны жагсаалтад нэмнэ. Хэрэв та CLI-ийг ашиглаж, GPU драйверийн талаархи алдааг харах бол график драйверийн шинэчлэгдсэн байх ёстой. Ollama нь CPU болон GPU-ийн драйверийн хоорондоо дэмждэг боловч шинэчлэгдсэн драйверийн боломжийг сайжруулдаг. Хэрхэн LLM-ийг орон нутгийн чухал LLM-ийг локалтай ажиллуулах нь AI-тэй ажиллахад хэрхэн өөрчилж байна. Та API-ийн зардал, түвшинд хязгаарлагддаггүй байна. Энэ нь хурдан прототипийг хайж буй хөгжүүлэгчид, тэсвэртэй тохиргооны судлах судлаачид, эсвэл даатгалын үнэ цэнэтэй хүмүүст тохиромжтой. Албан ёсны загварууд нь офлайн орчинд маш сайн байдаг. Та хурдан загварыг туршиж, агуулгыг үүсгэх, эсвэл интернет холболтгүй AI-ийн дэмжлэгтэй апп-ийн туршиж болно. харьцуулахад харьцуулахад, нээлттэй эх сурвалж олон нийтийн өсөлтийн дагуу, орон нутгийн AI нь илүү хүчтэй, хялбар байх болно. Баримтлал Windows дээр open-source LLM суулгах нь одоо хялбар юм. Ollama болон LM Studio гэх мэт хэрэгсэл нь, та загварыг татаж, локалтай ажиллуулах, минутын дотор текст үүсгэх эхэлж болно. Энэ интерфэйс нь эх үүсвэрлэгчдэд зориулсан тохиромжтой болгодог, үйл явц нь хөгжүүлэгчдэд бүрэн хяналтыг санал болгож байна. Хэрэв та апп үүсгэх, санаа шалгаж, эсвэл хувийн хэрэглээнд AI-ийг олж байгаа бол, загварууд локалтай ажиллуулах нь бүх зүйлийг танд хандах, хурдан, хувийн, гүнзгий болгодог. Ямар ч та энэ нийтлэл дуртай. TuringTalks.ai-ийн үнэгүй мэдээ болж чаджээ. AI-ийн талаарх илүү практик суралцахыг хүсч байна. TuringTalks.ai-ийн үнэгүй мэдээ болж чаджээ. AI-ийн талаарх илүү практик суралцахыг хүсч байна. Түлхүүр үг
