Сүүлийн үед OpenAI-ийн ChatGPT-ийн бүрэн хувилбар болох хувийн чатбот үйлчилгээ шаардлагатай болж байна. Тиймээс би үүнийг гэртээ хэрэгжүүлж, сүлжээний хэвлэгч болон хамт гэрийнхээ бүх хүмүүст хүртээмжтэй болгохоор шийдсэн. NAS (OpenMediaVault)-ийн Өмнө нь би хүмүүст Llama цувралыг англи хэлээр хийх даалгавар, Qwen цувралыг хятад хэлний даалгаварт ашиглахыг зөвлөдөг байсан. Өмчлөлийнхтэй (GPT/Claude) харьцуулахад олон хэлээр ярьдаг ажлуудад хангалттай хүчтэй нээлттэй эхийн загвар байхгүй байсан. Гэсэн хэдий ч бидний мэдэж байгаагаар сүүлийн үед бүх зүйл өөрчлөгдсөн. Би Qwen2.5-аас залхах болгондоо DeepSeek-V2-г хааяа ашигладаг байсан ба DeepSeek V2.5, V3-аас техник хангамж дутагдсанаас хоцорч байсан. Гэхдээ DeepSeek намайг сэтгэлээр унасангүй, R1 нь маш гайхалтай гүйцэтгэлтэй бөгөөд 1.5B хэмжээтэй байна! Энэ нь бид үүнийг тодорхой хэмжээний хэрэглэгчийн туршлагатай CPU дээр ч ажиллуулж чадна гэсэн үг юм. Олон хүмүүс тоглоом тоглоход зориулсан GPU-тэй байдаг тул хурд нь асуудал биш юм. OpenAI нь үнэгүй дансны хэрэглээг хязгаарладаг тул орон нутгийн LLM-д байршуулсан баримт бичиг, зургийг боловсруулах нь том давуу тал юм. Хэдийгээр албан ёсны нэг мөрийн тушаалаар маш хялбар байдаг: багцалсан Ollama дэмжлэгтэйгээр Open WebUI-г суулгах нь docker run -d -p 3000:8080 --gpus=all -v ollama:/root/.ollama -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:ollama Гэхдээ RAG (Вэб хайлт) ажиллуулах нь ихэнх хүмүүст тийм ч хялбар биш тул би бэлэн болсон шийдлийг олохыг хүсч байна. Би дурдсанчлан боомт бол өөр LLM стекийг турших маш сайн туршилтын талбай юм. Гэхдээ энэ нь зөвхөн үүний хувьд гайхалтай төдийгүй RAG нь бэлэн бус ажиллаж байгаа орон нутгийн LLM-ийг өөрөө байршуулах цогц шийдэл юм. Тиймээс, үүнийг эхнээс нь хэрэгжүүлж эхэлцгээе, ихэнх хүмүүс үйлдлийн систем суулгахаас эхэлдэггүй тул алхмуудыг алгасаж болно. сүүлийн нийтлэлдээ Системийн бэлтгэл (заавал биш) адил ашиглан суулгах процессыг явуулна уу. Өмнөхтэй debian-11.6.0-amd64-netinst.iso sudoer дээр нэмээд дахин ачаална уу usermod -aG sudo username (Заавал биш) Нэмэлт своп нэмнэ үү fallocate -l 64G /home/swapfile chmod 600 /home/swapfile mkswap /home/swapfile swapon /home/swapfile мөн swapfile-г байнгын болгох nano /etc/fstab UUID=xxxxx-xxx swap swap defaults,pri=100 0 0 /home/swapfile swap swap defaults,pri=10 0 0 эсвэл ашиглан шалгана уу swapon --show free -h Nouveau драйверийг идэвхгүй болгох bash -c "echo blacklist nouveau > /etc/modprobe.d/blacklist-nvidia-nouveau.conf" bash -c "echo options nouveau modeset=0 >> /etc/modprobe.d/blacklist-nvidia-nouveau.conf" update-initramfs -u update-grub reboot Хамаарал суулгах apt install linux-headers-`uname -r` build-essential libglu1-mesa-dev libx11-dev libxi-dev libxmu-dev gcc software-properties-common sudo git python3 python3-venv pip libgl1 git-lfs -y (Заавал биш) Шаардлагатай бол устгана уу apt-get purge nvidia* apt remove nvidia* apt-get purge cuda* apt remove cuda* rm /etc/apt/sources.list.d/cuda* apt-get autoremove && apt-get autoclean rm -rf /usr/local/cuda* Cuda-tookit болон cuda суулгана уу wget https://developer.download.nvidia.com/compute/cuda/12.4.1/local_installers/cuda-repo-debian11-12-4-local_12.4.1-550.54.15-1_amd64.deb sudo dpkg -i cuda-repo-debian11-12-4-local_12.4.1-550.54.15-1_amd64.debsudo cp /var/cuda-repo-debian11-12-4-local/cuda-*-keyring.gpg /usr/share/keyrings/ sudo add-apt-repository contrib sudo apt-get update sudo apt-get -y install cuda-toolkit-12-4 sudo apt install libxnvctrl0=550.54.15-1 sudo apt-get install -y cuda-drivers Боомт нь докер дээр суурилсан тул NVIDIA Container Toolkit-ийг суулгаарай curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey | sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg \ && curl -s -L https://nvidia.github.io/libnvidia-container/stable/deb/nvidia-container-toolkit.list | \ sed 's#deb https://#deb [signed-by=/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://#g' | \ sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list Дараа нь болон sudo apt-get update sudo apt-get install -y nvidia-container-toolkit гүйцэтгэнэ Суулгасны дараах cuda үйлдлийг nano ~/.bashrc export PATH=/usr/local/cuda-12.4/bin${PATH:+:${PATH}} export LD_LIBRARY_PATH=/usr/local/cuda-12.4/lib64${LD_LIBRARY_PATH:+:${LD_LIBRARY_PATH}} Дараа нь өөрчлөлтийг хэрэгжүүлэхийн тулд , эсвэл sudo update-initramfs -u ldconfig source ~/.bashrc дахин ачаалсны дараа болон ээр баталгаажуулна уу nvidia-smi nvcc --version Miniconda суулгах (заавал биш, боомтод зориулагдаагүй) wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh && sudo chmod +x Miniconda3-latest-Linux-x86_64.sh && bash Miniconda3-latest-Linux-x86_64.sh Docker & Harbor Докер суулгах # Add Docker's official GPG key: sudo apt-get update sudo apt-get install ca-certificates curl sudo install -m 0755 -d /etc/apt/keyrings sudo curl -fsSL https://download.docker.com/linux/debian/gpg -o /etc/apt/keyrings/docker.asc sudo chmod a+r /etc/apt/keyrings/docker.asc # Add the repository to Apt sources: echo \ "deb [arch=$(dpkg --print-architecture) signed-by=/etc/apt/keyrings/docker.asc] https://download.docker.com/linux/debian \ $(. /etc/os-release && echo "$VERSION_CODENAME") stable" | \ sudo tee /etc/apt/sources.list.d/docker.list > /dev/null sudo apt-get update sudo apt-get install docker-ce docker-ce-cli containerd.io docker-buildx-plugin docker-compose-plugin Docker-д зориулсан sudoгүйгээр гүйцэтгэнэ суулгацыг sudo groupadd docker sudo usermod -aG docker $USER newgrp docker docker run hello-world Боомтыг гараар суулгана git clone https://github.com/av/harbor.git && cd harbor ./harbor.sh ln ээр баталгаажуулна уу harbor --version RAG дэмжлэгтэйгээр өгөгдмөл рүү нь harbor defaults add searxng шалгахын тулд одоо гурван үйлчилгээ идэвхтэй байна: , , harbor defaults list ollama webui searxng Эдгээр үйлчилгээг докер дээр гаргахын тулд хамт ажиллуул harbor up Хаягдлын бүртгэлийг харахын тулд , ашиглана уу harbor ps docker ps harbor logs Open-webui frontend нь одоо үйлчилж байгаа бөгөөд эсвэл серверийн IP хаягтай LAN-аас үйлчлүүлэгчид хандах боломжтой. 0.0.0.0:33801 http://localhost:33801 ашиглан VRAM ашиглалтыг хянах watch -n 0.3 nvidia-smi эсвэл ашиглан бүртгэлийг хянах harbor up ollama --tail harbor logs гэх мэт бүх оллама тушаалуудыг ашиглах боломжтой harbor ollama list Бусад төхөөрөмжөөс (ширээний/гар утас) хандаж админ бүртгэлээ бүртгүүлж, загвараа татаж авах цаг болжээ. Local LLM ашиглах Админ акаунтаар нэвтэрсний дараа баруун дээд талын аватар дүрс дээр дарж, дараа нь нээнэ үү, эсвэл `http://ip:33801/admin/settings-ээр нэвтэрнэ үү. Admin Panel Settings дээр товшоод, баруун дээд хэсэгт татаж авах товчлуур шиг харагдах дарна уу. Models Manage Models эсвэл доорх текст хайрцагт оруулна уу баруун талд байгаа татаж авах товчийг дарна уу. deepseek-r1 өөр загваруудыг Pull a model from Ollama.com Загварыг татаж авсны дараа дахин шинэчлэх шаардлагатай бөгөөд шинээр татаж авсан загвар нь (нүүр) хуудасны унждаг цэсэнд ашиглагдах болно. New Chat Одоо энэ нь зөвхөн ChatGPT-ийн өөр чатботыг ажиллуулаад зогсохгүй OpenAI API-ийн бүрэн ажиллагаатай API хувилбар, мөн Google-ийн хувийн хайлтын системийг ажиллуулж байна! webui-г LAN дотор дараах хаягаар ашиглах боломжтой: http://ip:33801 олламаг LAN дотор дараах холбоосоор дамжуулан авах боломжтой: http://ip:33821 searxng-г LAN дотор дараах хаягаар ашиглах боломжтой: http://ip:33811 LLM API интеграци бүхий ямар ч програмтай руу залгана уу: Ollama API http://ip:33821/api/ps http://ip:33821/v1/models http://ip:33821/api/generate http://ip:33821/v1/chat/completionsb
