ბოლო დროს საჭიროა პირადი ჩატბოტის სერვისი, როგორც OpenAI-ის ChatGPT-ის სრული ალტერნატივა. ასე რომ, მე გადავწყვიტე ერთის დანერგვა სახლში და მისაწვდომი გავხადო ყველასთვის ჩემს ოჯახში, ჩემს ქსელურ პრინტერთან და . NAS-თან ერთად (OpenMediaVault) წარსულში მე ვურჩევდი ადამიანებს გამოიყენონ Llama სერიები ინგლისური ამოცანებისთვის და Qwen სერიები ჩინური ამოცანებისთვის. არ არსებობდა ღია კოდის მოდელი, რომელიც საკმარისად ძლიერი იქნებოდა მრავალენოვანი ამოცანების შესასრულებლად, საკუთრების (GPT/Claude) შედარებით. თუმცა, როგორც ყველამ ვიცით, ცოტა ხნის წინ ყველაფერი შეიცვალა. მე ხშირად ვიყენებდი DeepSeek-V2-ს ყოველ ჯერზე, როცა დავიღალე Qwen2.5-ით და ჩამოვრჩებოდი DeepSeek V2.5-სა და V3-ს აპარატურის ნაკლებობის გამო. მაგრამ DeepSeek-მა არ დამიწუნა, R1 იმდენად შთამბეჭდავია და უზრუნველყოფს 1,5 B-ს! ეს ნიშნავს, რომ ჩვენ შეგვიძლია მისი გაშვება CPU-ზეც კი, მომხმარებლის მნიშვნელოვანი გამოცდილებით. რადგან ბევრ ადამიანს აქვს სათამაშო პროცესორები, სიჩქარე არ არის პრობლემა. ადგილობრივი LLM-ების მიერ ატვირთული დოკუმენტების და სურათების დამუშავება დიდი უპირატესობაა, რადგან OpenAI ზღუდავს ამ გამოყენებას უფასო ანგარიშებისთვის. მიუხედავად იმისა, რომ ძალიან მარტივია ოფიციალური ერთსტრიქონიანი ბრძანებით: Open WebUI-ის დაყენება შეფუთული Ollama მხარდაჭერით docker run -d -p 3000:8080 --gpus=all -v ollama:/root/.ollama -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:ollama მაგრამ RAG-ის (ვებ ძიების) მუშაობა არ არის მარტივი ადამიანების უმრავლესობისთვის, ამიტომ მსურს ვიპოვო გამოსავალი. როგორც აღვნიშნე, ჰარბორი შესანიშნავი ტესტია სხვადასხვა LLM სტეკთან ექსპერიმენტებისთვის. მაგრამ ეს არა მხოლოდ შესანიშნავია ამისთვის, ის ასევე არის ყოვლისმომცველი გადაწყვეტა ადგილობრივი LLM-ების თვითმასპინძლობისთვის, RAG-ით, რომელიც მუშაობს გარედან. მაშ ასე, დავიწყოთ მისი დანერგვა ნულიდან და მოგერიდებათ გამოტოვოთ ნაბიჯები, რადგან ადამიანების უმეტესობა არ იწყებს OS-ის ინსტალაციას. ჩემს ბოლო პოსტში სისტემის მომზადება (სურვილისამებრ) ისევე, როგორც , გაიარეთ ინსტალაციის პროცესი გამოყენებით ადრე debian-11.6.0-amd64-netinst.iso დაამატეთ sudoer და გადატვირთეთ usermod -aG sudo username (სურვილისამებრ) დაამატეთ დამატებითი გაცვლა fallocate -l 64G /home/swapfile chmod 600 /home/swapfile mkswap /home/swapfile swapon /home/swapfile და გახადეთ swapfile მუდმივი nano /etc/fstab UUID=xxxxx-xxx swap swap defaults,pri=100 0 0 /home/swapfile swap swap defaults,pri=10 0 0 შეამოწმეთ ან swapon --show free -h გამორთეთ Nouveau დრაივერი bash -c "echo blacklist nouveau > /etc/modprobe.d/blacklist-nvidia-nouveau.conf" bash -c "echo options nouveau modeset=0 >> /etc/modprobe.d/blacklist-nvidia-nouveau.conf" update-initramfs -u update-grub reboot დააინსტალირეთ დამოკიდებულებები apt install linux-headers-`uname -r` build-essential libglu1-mesa-dev libx11-dev libxi-dev libxmu-dev gcc software-properties-common sudo git python3 python3-venv pip libgl1 git-lfs -y (სურვილისამებრ) საჭიროების შემთხვევაში განახორციელეთ დეინსტალაცია apt-get purge nvidia* apt remove nvidia* apt-get purge cuda* apt remove cuda* rm /etc/apt/sources.list.d/cuda* apt-get autoremove && apt-get autoclean rm -rf /usr/local/cuda* დააინსტალირე cuda-tookit და cuda wget https://developer.download.nvidia.com/compute/cuda/12.4.1/local_installers/cuda-repo-debian11-12-4-local_12.4.1-550.54.15-1_amd64.deb sudo dpkg -i cuda-repo-debian11-12-4-local_12.4.1-550.54.15-1_amd64.debsudo cp /var/cuda-repo-debian11-12-4-local/cuda-*-keyring.gpg /usr/share/keyrings/ sudo add-apt-repository contrib sudo apt-get update sudo apt-get -y install cuda-toolkit-12-4 sudo apt install libxnvctrl0=550.54.15-1 sudo apt-get install -y cuda-drivers რადგან Harbor დაფუძნებულია დოკერზე დააინსტალირეთ NVIDIA Container Toolkit, curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey | sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg \ && curl -s -L https://nvidia.github.io/libnvidia-container/stable/deb/nvidia-container-toolkit.list | \ sed 's#deb https://#deb [signed-by=/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://#g' | \ sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list შემდეგ და sudo apt-get update sudo apt-get install -y nvidia-container-toolkit შეასრულეთ სხვა ინსტალაციის შემდგომი მოქმედება nano ~/.bashrc export PATH=/usr/local/cuda-12.4/bin${PATH:+:${PATH}} export LD_LIBRARY_PATH=/usr/local/cuda-12.4/lib64${LD_LIBRARY_PATH:+:${LD_LIBRARY_PATH}} შემდეგ , ან ცვლილებების გამოსაყენებლად sudo update-initramfs -u ldconfig source ~/.bashrc გადატვირთვის შემდეგ დაადასტურეთ და nvidia-smi nvcc --version დააინსტალირეთ Miniconda (სურვილისამებრ, არა ნავსადგურისთვის) wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh && sudo chmod +x Miniconda3-latest-Linux-x86_64.sh && bash Miniconda3-latest-Linux-x86_64.sh Docker & Harbor დააინსტალირეთ დოკერი # Add Docker's official GPG key: sudo apt-get update sudo apt-get install ca-certificates curl sudo install -m 0755 -d /etc/apt/keyrings sudo curl -fsSL https://download.docker.com/linux/debian/gpg -o /etc/apt/keyrings/docker.asc sudo chmod a+r /etc/apt/keyrings/docker.asc # Add the repository to Apt sources: echo \ "deb [arch=$(dpkg --print-architecture) signed-by=/etc/apt/keyrings/docker.asc] https://download.docker.com/linux/debian \ $(. /etc/os-release && echo "$VERSION_CODENAME") stable" | \ sudo tee /etc/apt/sources.list.d/docker.list > /dev/null sudo apt-get update sudo apt-get install docker-ce docker-ce-cli containerd.io docker-buildx-plugin docker-compose-plugin შეასრულეთ დოკერისთვის სუდოს გარეშე შემდგომი ინსტალაცია sudo groupadd docker sudo usermod -aG docker $USER newgrp docker docker run hello-world ხელით დააინსტალირეთ Harbor git clone https://github.com/av/harbor.git && cd harbor ./harbor.sh ln გადაამოწმეთ harbor --version RAG მხარდაჭერით დაამატეთ ნაგულისხმევი ნაგულისხმევი harbor defaults add searxng გამოიყენეთ შესამოწმებლად, ახლა არის სამი სერვისი აქტიური: , , harbor defaults list ollama webui searxng გაუშვით თან ერთად, რომ ეს სერვისები გამოიტანოთ დოკერში harbor up გამოიყენეთ , როგორც , და კუდის მორების სანახავად harbor ps docker ps harbor logs ახლა open-webui frontend ემსახურება და მისი წვდომა შესაძლებელია ან კლიენტებიდან LAN-დან სერვერის IP მისამართით. 0.0.0.0:33801 http://localhost:33801 VRAM-ის გამოყენების მონიტორინგი ით watch -n 0.3 nvidia-smi მონიტორის ჟურნალი ან harbor up ollama --tail harbor logs ყველა olama ბრძანება გამოსაყენებელია, როგორიცაა harbor ollama list დროა შეხვიდეთ სხვა მოწყობილობებიდან (დესკტოპიდან/მობილურიდან), რომ დაარეგისტრიროთ ადმინისტრატორი და ჩამოტვირთოთ მოდელები ახლავე. ლოკალური LLM-ის გამოყენება ადმინისტრატორის ანგარიშით შესვლის შემდეგ, დააწკაპუნეთ ავატარის ზევით მარჯვენა ხატულაზე, გახსენით და შემდეგ , ან უბრალოდ შედით `http://ip:33801/admin/settings-ით. Admin Panel Settings დააწკაპუნეთ და ზედა მარჯვენა კუთხეში დააწკაპუნეთ , რომელიც ჩამოტვირთვის ღილაკს ჰგავს. Models Manage Models განათავსეთ ან ქვემოთ მოცემულ ტექსტურ ყუთში. და დააწკაპუნეთ ჩამოტვირთვის ღილაკს მარჯვენა მხარეს. deepseek-r1 ნებისმიერი სხვა მოდელი Pull a model from Ollama.com მოდელის ჩამოტვირთვის შემდეგ, მას შეიძლება დასჭირდეს განახლება და ახლად ჩამოტვირთული მოდელი გამოყენებული იქნება ჩამოსაშლელი მენიუში (მთავარი) გვერდზე. New Chat ახლა, ის არა მხოლოდ აწარმოებს ჩეთბოტის ალტერნატივას ChatGPT-ის, არამედ სრულად ფუნქციონალური API ალტერნატივის OpenAI API-ს, პლუს პირადი საძიებო სისტემის ალტერნატივას Google-ისთვის! webui ხელმისაწვდომია LAN-ის ფარგლებში: http://ip:33801 olama ხელმისაწვდომია LAN-ის ფარგლებში: http://ip:33821 searxng ხელმისაწვდომია LAN-ში: http://ip:33811 დაურეკეთ ნებისმიერი აპლიკაციით LLM API ინტეგრაციით: Olama API-ს http://ip:33821/api/ps http://ip:33821/v1/models http://ip:33821/api/generate http://ip:33821/v1/chat/completionsb
