په دې وروستیو کې، د OpenAI د ChatGPT لپاره د بشپړ بدیل په توګه د خصوصي چیټ بوټ خدمت ته اړتیا شتون لري. نو، زه پریکړه کوم چې یو په کور کې پلي کړم او دا زما د شبکې پرنټر او سره یوځای زما په کورنۍ کې هرچا ته د لاسرسي وړ کړم. NAS (OpenMediaVault) په تیرو وختونو کې، ما خلکو ته د انګلیسي دندو لپاره د لاما لړۍ او د چینایي کارونو لپاره د Qwen لړۍ کارولو سپارښتنه کوله. د خلاصې سرچینې ماډل شتون نه درلود چې د ملکیتونو (GPT/کلاډ) په پرتله په څو ژبو کارونو کې کافي قوي وي. په هرصورت، لکه څنګه چې موږ ټول پوهیږو - پدې وروستیو کې شیان بدل شوي. زه کله ناکله DeepSeek-V2 کاروم هرکله چې زه د Qwen2.5 سره ستړی شوی یم او د هارډویر نشتوالي له امله د DeepSeek V2.5 او V3 سره شاته یم. مګر ډیپ سیک ما مایوسه نه کړه ، R1 خورا اغیزناک ترسره کوي او د 1.5B په څیر کوچنی چمتو کوي! دا پدې مانا ده چې موږ کولی شو دا حتی په CPU کې د ځینې پام وړ کارونکي تجربې سره پرمخ یوسو. لکه څنګه چې ډیری خلک د لوبو لپاره GPUs لري، سرعت کومه مسله نده. د محلي LLMs پروسس کول د اسنادو او عکسونو اپلوډ کول یوه لویه ګټه ده ځکه چې OpenAI د وړیا حسابونو لپاره دا کارول محدودوي. که څه هم د رسمي یو لاین کمانډ سره خورا اسانه دي: د بنډل اولاما ملاتړ سره د خلاص WebUI نصب کول docker run -d -p 3000:8080 --gpus=all -v ollama:/root/.ollama -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:ollama مګر د RAG (ویب لټون) ترلاسه کول د ډیری خلکو لپاره کار کول اسانه ندي ، نو زه غواړم یو څه د بکس څخه بهر حل ومومئ. لکه څنګه چې ما په کې یادونه وکړه ، بندر د مختلف LLM سټیک سره تجربې کولو لپاره عالي ټیسټ بیډ دی. مګر دا نه یوازې د دې لپاره عالي دی ، دا د RAG سره د بکس څخه بهر کار کولو سره د ځان کوربه توب محلي LLMs لپاره یو په زړه پوری حل هم دی. نو، راځئ چې له پیل څخه یې پلي کول پیل کړو او د ګامونو پریښودلو لپاره وړیا احساس وکړو ځکه چې ډیری خلک د OS نصبولو څخه پیل نه کوي. خپل وروستي پوسټ د سیسټم چمتو کول (اختیاري) په څیر، په کارولو سره د نصب کولو پروسې ته لاړ شئ د پخوا debian-11.6.0-amd64-netinst.iso sudoer بیا ریبوټ کړئ usermod -aG sudo username (اختیاري) اضافي تبادله اضافه کړئ fallocate -l 64G /home/swapfile chmod 600 /home/swapfile mkswap /home/swapfile swapon /home/swapfile او د سویپ فایل دوامداره جوړ کړئ nano /etc/fstab UUID=xxxxx-xxx swap swap defaults,pri=100 0 0 /home/swapfile swap swap defaults,pri=10 0 0 یا سره وګورئ swapon --show free -h د نوویو ډرایور غیر فعال کړئ bash -c "echo blacklist nouveau > /etc/modprobe.d/blacklist-nvidia-nouveau.conf" bash -c "echo options nouveau modeset=0 >> /etc/modprobe.d/blacklist-nvidia-nouveau.conf" update-initramfs -u update-grub reboot انحصارونه نصب کړئ apt install linux-headers-`uname -r` build-essential libglu1-mesa-dev libx11-dev libxi-dev libxmu-dev gcc software-properties-common sudo git python3 python3-venv pip libgl1 git-lfs -y (اختیاري) د اړتیا په صورت کې غیر نصب کول ترسره کړئ apt-get purge nvidia* apt remove nvidia* apt-get purge cuda* apt remove cuda* rm /etc/apt/sources.list.d/cuda* apt-get autoremove && apt-get autoclean rm -rf /usr/local/cuda* cuda-tookit او cuda نصب کړئ wget https://developer.download.nvidia.com/compute/cuda/12.4.1/local_installers/cuda-repo-debian11-12-4-local_12.4.1-550.54.15-1_amd64.deb sudo dpkg -i cuda-repo-debian11-12-4-local_12.4.1-550.54.15-1_amd64.debsudo cp /var/cuda-repo-debian11-12-4-local/cuda-*-keyring.gpg /usr/share/keyrings/ sudo add-apt-repository contrib sudo apt-get update sudo apt-get -y install cuda-toolkit-12-4 sudo apt install libxnvctrl0=550.54.15-1 sudo apt-get install -y cuda-drivers ځکه چې بندر د ډاکر پر بنسټ دی د NVIDIA کانټینر Toolkit نصب کړئ curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey | sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg \ && curl -s -L https://nvidia.github.io/libnvidia-container/stable/deb/nvidia-container-toolkit.list | \ sed 's#deb https://#deb [signed-by=/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://#g' | \ sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list بیا او sudo apt-get update sudo apt-get install -y nvidia-container-toolkit د cuda ترسره کړئ د نصبولو وروسته عمل nano ~/.bashrc export PATH=/usr/local/cuda-12.4/bin${PATH:+:${PATH}} export LD_LIBRARY_PATH=/usr/local/cuda-12.4/lib64${LD_LIBRARY_PATH:+:${LD_LIBRARY_PATH}} بیا د بدلونونو پلي کولو لپاره , یا sudo update-initramfs -u ldconfig source ~/.bashrc د ریبوټ وروسته، او سره تایید کړئ nvidia-smi nvcc --version مینیکونډا نصب کړئ (اختیاري، نه د بندر لپاره) wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh && sudo chmod +x Miniconda3-latest-Linux-x86_64.sh && bash Miniconda3-latest-Linux-x86_64.sh ډاکر او هاربر ډاکر نصب کړئ # Add Docker's official GPG key: sudo apt-get update sudo apt-get install ca-certificates curl sudo install -m 0755 -d /etc/apt/keyrings sudo curl -fsSL https://download.docker.com/linux/debian/gpg -o /etc/apt/keyrings/docker.asc sudo chmod a+r /etc/apt/keyrings/docker.asc # Add the repository to Apt sources: echo \ "deb [arch=$(dpkg --print-architecture) signed-by=/etc/apt/keyrings/docker.asc] https://download.docker.com/linux/debian \ $(. /etc/os-release && echo "$VERSION_CODENAME") stable" | \ sudo tee /etc/apt/sources.list.d/docker.list > /dev/null sudo apt-get update sudo apt-get install docker-ce docker-ce-cli containerd.io docker-buildx-plugin docker-compose-plugin د سوډو پرته د ډاکر لپاره ترسره کړئ وروسته نصب کول sudo groupadd docker sudo usermod -aG docker $USER newgrp docker docker run hello-world د هاربر لاسي نصب کول git clone https://github.com/av/harbor.git && cd harbor ./harbor.sh ln harbor --version harbor defaults add searxng د چک کولو لپاره وکاروئ، اوس درې خدمتونه فعال دي: ، ، harbor defaults list ollama webui searxng په ډاکر کې د دې خدماتو د راوستلو لپاره سره وګرځئ harbor up په توګه وکاروئ، او د ټیلینګ لاګونو لیدلو لپاره harbor ps docker ps harbor logs اوس د خلاص ویبی فرنټ اینډ په کې خدمت کوي او یا د سرور IP پتې سره د LAN څخه مراجعینو ته لاسرسی کیدی شي. 0.0.0.0:33801 http://localhost:33801 سره د VRAM کارول وڅارئ watch -n 0.3 nvidia-smi یا سره د څار لاګ harbor up ollama --tail harbor logs د اولاما ټول حکمونه د کارولو وړ دي لکه harbor ollama list دا د نورو وسیلو (ډیسټاپ/موبایل) څخه د لاسرسي وخت دی ترڅو د اډمین حساب راجستر کړئ او همدا اوس موډل ډاونلوډ کړئ. د محلي LLM کارول د اډمین حساب سره د ننوتلو وروسته ، د پورتنۍ ښیې اوتار آیکون کلیک وکړئ ، خلاص کړئ بیا ، یا په ساده ډول د http://ip:33801/admin/settings له لارې لاسرسی ومومئ. Admin Panel Settings په کلیک وکړئ، او په پورتنۍ ښي خوا کې د کلیک وکړئ کوم چې د ډاونلوډ تڼۍ په څیر ښکاري. Models Manage Models یا په لاندې متن بکس کې واچوئ او په ښي خوا کې د ډاونلوډ تڼۍ کلیک وکړئ. deepseek-r1 کوم بل ماډل Pull a model from Ollama.com د ماډل ډاونلوډ کولو وروسته ، دا ممکن ریفریش ته اړتیا ولري او نوی ډاونلوډ شوی ماډل به د (کور) پا pageې کې د ډراپ ډاون مینو لاندې د کارولو وړ وي. New Chat اوس، دا نه یوازې د ChatGPT لپاره د چیټ بوټ بدیل چلوي، بلکې د OpenAI API لپاره د بشپړ فعال API بدیل، او د ګوګل لپاره د شخصي لټون انجن بدیل هم! webui د LAN له لارې د لاسرسي وړ دی: http://ip:33801 ollama د LAN له لارې د لاسرسي وړ دی: http://ip:33821 searxng د LAN له لارې د لاسرسي وړ دی: http://ip:33811 د LLM API ادغام سره د هر غوښتنلیک سره ته زنګ ووهئ: Ollama API http://ip:33821/api/ps http://ip:33821/v1/models http://ip:33821/api/generate http://ip:33821/v1/chat/completionsb
