A Technologist who Cares about People
The code in this story is for educational purposes. The readers are solely responsible for whatever they build with it.
په دې وروستیو کې، د OpenAI د ChatGPT لپاره د بشپړ بدیل په توګه د خصوصي چیټ بوټ خدمت ته اړتیا شتون لري. نو، زه پریکړه کوم چې یو په کور کې پلي کړم او دا زما د شبکې پرنټر او NAS (OpenMediaVault) سره یوځای زما په کورنۍ کې هرچا ته د لاسرسي وړ کړم.
په تیرو وختونو کې، ما خلکو ته د انګلیسي دندو لپاره د لاما لړۍ او د چینایي کارونو لپاره د Qwen لړۍ کارولو سپارښتنه کوله. د خلاصې سرچینې ماډل شتون نه درلود چې د ملکیتونو (GPT/کلاډ) په پرتله په څو ژبو کارونو کې کافي قوي وي.
په هرصورت، لکه څنګه چې موږ ټول پوهیږو - پدې وروستیو کې شیان بدل شوي. زه کله ناکله DeepSeek-V2 کاروم هرکله چې زه د Qwen2.5 سره ستړی شوی یم او د هارډویر نشتوالي له امله د DeepSeek V2.5 او V3 سره شاته یم. مګر ډیپ سیک ما مایوسه نه کړه ، R1 خورا اغیزناک ترسره کوي او د 1.5B په څیر کوچنی چمتو کوي!
دا پدې مانا ده چې موږ کولی شو دا حتی په CPU کې د ځینې پام وړ کارونکي تجربې سره پرمخ یوسو. لکه څنګه چې ډیری خلک د لوبو لپاره GPUs لري، سرعت کومه مسله نده. د محلي LLMs پروسس کول د اسنادو او عکسونو اپلوډ کول یوه لویه ګټه ده ځکه چې OpenAI د وړیا حسابونو لپاره دا کارول محدودوي.
که څه هم د بنډل اولاما ملاتړ سره د خلاص WebUI نصب کول د رسمي یو لاین کمانډ سره خورا اسانه دي:
docker run -d -p 3000:8080 --gpus=all -v ollama:/root/.ollama -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:ollama
مګر د RAG (ویب لټون) ترلاسه کول د ډیری خلکو لپاره کار کول اسانه ندي ، نو زه غواړم یو څه د بکس څخه بهر حل ومومئ.
لکه څنګه چې ما په خپل وروستي پوسټ کې یادونه وکړه ، بندر د مختلف LLM سټیک سره تجربې کولو لپاره عالي ټیسټ بیډ دی. مګر دا نه یوازې د دې لپاره عالي دی ، دا د RAG سره د بکس څخه بهر کار کولو سره د ځان کوربه توب محلي LLMs لپاره یو په زړه پوری حل هم دی. نو، راځئ چې له پیل څخه یې پلي کول پیل کړو او د ګامونو پریښودلو لپاره وړیا احساس وکړو ځکه چې ډیری خلک د OS نصبولو څخه پیل نه کوي.
د پخوا په څیر، debian-11.6.0-amd64-netinst.iso
په کارولو سره د نصب کولو پروسې ته لاړ شئ
sudoer usermod -aG sudo username
بیا ریبوټ کړئ
(اختیاري) اضافي تبادله اضافه کړئ
fallocate -l 64G /home/swapfile chmod 600 /home/swapfile mkswap /home/swapfile swapon /home/swapfile
او د سویپ فایل دوامداره nano /etc/fstab
جوړ کړئ
UUID=xxxxx-xxx swap swap defaults,pri=100 0 0 /home/swapfile swap swap defaults,pri=10 0 0
swapon --show
یا free -h
سره وګورئ
د نوویو ډرایور غیر فعال کړئ
bash -c "echo blacklist nouveau > /etc/modprobe.d/blacklist-nvidia-nouveau.conf" bash -c "echo options nouveau modeset=0 >> /etc/modprobe.d/blacklist-nvidia-nouveau.conf" update-initramfs -u update-grub reboot
انحصارونه نصب کړئ
apt install linux-headers-`uname -r` build-essential libglu1-mesa-dev libx11-dev libxi-dev libxmu-dev gcc software-properties-common sudo git python3 python3-venv pip libgl1 git-lfs -y
(اختیاري) د اړتیا په صورت کې غیر نصب کول ترسره کړئ
apt-get purge nvidia* apt remove nvidia* apt-get purge cuda* apt remove cuda* rm /etc/apt/sources.list.d/cuda* apt-get autoremove && apt-get autoclean rm -rf /usr/local/cuda*
wget https://developer.download.nvidia.com/compute/cuda/12.4.1/local_installers/cuda-repo-debian11-12-4-local_12.4.1-550.54.15-1_amd64.deb sudo dpkg -i cuda-repo-debian11-12-4-local_12.4.1-550.54.15-1_amd64.debsudo cp /var/cuda-repo-debian11-12-4-local/cuda-*-keyring.gpg /usr/share/keyrings/ sudo add-apt-repository contrib sudo apt-get update sudo apt-get -y install cuda-toolkit-12-4 sudo apt install libxnvctrl0=550.54.15-1 sudo apt-get install -y cuda-drivers
د NVIDIA کانټینر Toolkit نصب کړئ ځکه چې بندر د ډاکر پر بنسټ دی
curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey | sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg \ && curl -s -L https://nvidia.github.io/libnvidia-container/stable/deb/nvidia-container-toolkit.list | \ sed 's#deb https://#deb [signed-by=/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://#g' | \ sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list
بیا sudo apt-get update
او sudo apt-get install -y nvidia-container-toolkit
د cuda د نصبولو وروسته عمل ترسره کړئ nano ~/.bashrc
export PATH=/usr/local/cuda-12.4/bin${PATH:+:${PATH}} export LD_LIBRARY_PATH=/usr/local/cuda-12.4/lib64${LD_LIBRARY_PATH:+:${LD_LIBRARY_PATH}}
بیا د بدلونونو پلي کولو لپاره sudo update-initramfs -u
, ldconfig
یا source ~/.bashrc
د ریبوټ وروسته، nvidia-smi
او nvcc --version
سره تایید کړئ
مینیکونډا نصب کړئ (اختیاري، نه د بندر لپاره)
wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh && sudo chmod +x Miniconda3-latest-Linux-x86_64.sh && bash Miniconda3-latest-Linux-x86_64.sh
# Add Docker's official GPG key: sudo apt-get update sudo apt-get install ca-certificates curl sudo install -m 0755 -d /etc/apt/keyrings sudo curl -fsSL https://download.docker.com/linux/debian/gpg -o /etc/apt/keyrings/docker.asc sudo chmod a+r /etc/apt/keyrings/docker.asc # Add the repository to Apt sources: echo \ "deb [arch=$(dpkg --print-architecture) signed-by=/etc/apt/keyrings/docker.asc] https://download.docker.com/linux/debian \ $(. /etc/os-release && echo "$VERSION_CODENAME") stable" | \ sudo tee /etc/apt/sources.list.d/docker.list > /dev/null sudo apt-get update sudo apt-get install docker-ce docker-ce-cli containerd.io docker-buildx-plugin docker-compose-plugin
د سوډو پرته د ډاکر لپاره وروسته نصب کول ترسره کړئ
sudo groupadd docker sudo usermod -aG docker $USER newgrp docker docker run hello-world
git clone https://github.com/av/harbor.git && cd harbor ./harbor.sh ln
harbor --version
harbor defaults add searxng
د چک کولو لپاره harbor defaults list
وکاروئ، اوس درې خدمتونه فعال دي: ollama
، webui
، searxng
په ډاکر کې د دې خدماتو د راوستلو لپاره harbor up
سره وګرځئ
harbor ps
docker ps
په توګه وکاروئ، او د ټیلینګ لاګونو لیدلو لپاره harbor logs
اوس د خلاص ویبی فرنټ اینډ په 0.0.0.0:33801
کې خدمت کوي او http://localhost:33801
یا د سرور IP پتې سره د LAN څخه مراجعینو ته لاسرسی کیدی شي.
watch -n 0.3 nvidia-smi
سره د VRAM کارول وڅارئ
harbor up ollama --tail
یا harbor logs
سره د څار لاګ
د اولاما ټول حکمونه د کارولو وړ دي لکه harbor ollama list
دا د نورو وسیلو (ډیسټاپ/موبایل) څخه د لاسرسي وخت دی ترڅو د اډمین حساب راجستر کړئ او همدا اوس موډل ډاونلوډ کړئ.
د اډمین حساب سره د ننوتلو وروسته ، د پورتنۍ ښیې اوتار آیکون کلیک وکړئ ، Admin Panel
خلاص کړئ بیا Settings
، یا په ساده ډول د http://ip:33801/admin/settings له لارې لاسرسی ومومئ.
په Models
کلیک وکړئ، او په پورتنۍ ښي خوا کې د Manage Models
کلیک وکړئ کوم چې د ډاونلوډ تڼۍ په څیر ښکاري.
deepseek-r1
یا کوم بل ماډل په لاندې متن بکس کې واچوئ Pull a model from Ollama.com
او په ښي خوا کې د ډاونلوډ تڼۍ کلیک وکړئ.
د ماډل ډاونلوډ کولو وروسته ، دا ممکن ریفریش ته اړتیا ولري او نوی ډاونلوډ شوی ماډل به د New Chat
(کور) پا pageې کې د ډراپ ډاون مینو لاندې د کارولو وړ وي.
اوس، دا نه یوازې د ChatGPT لپاره د چیټ بوټ بدیل چلوي، بلکې د OpenAI API لپاره د بشپړ فعال API بدیل، او د ګوګل لپاره د شخصي لټون انجن بدیل هم!
webui د LAN له لارې د لاسرسي وړ دی: http://ip:33801
ollama د LAN له لارې د لاسرسي وړ دی: http://ip:33821
searxng د LAN له لارې د لاسرسي وړ دی: http://ip:33811
د LLM API ادغام سره د هر غوښتنلیک سره Ollama API ته زنګ ووهئ:
http://ip:33821/api/ps http://ip:33821/v1/models http://ip:33821/api/generate http://ip:33821/v1/chat/completionsb