paint-brush
ډیپسیک (یا کوم بل AI ماډل) په خپل کور کې د څو لینونو کوډ سره چل کړئلخوا@techshinobi
738 لوستل
738 لوستل

ډیپسیک (یا کوم بل AI ماډل) په خپل کور کې د څو لینونو کوډ سره چل کړئ

لخوا Tech Shinobi
Tech Shinobi HackerNoon profile picture

Tech Shinobi

@techshinobi

A Technologist who Cares about People

5 دقیق read2025/01/30
Read on Terminal Reader
Read this story in a terminal
Print this story
tldt arrow
ps-flagPS
دا کیسه په پښتو ژبه ولولئ!
en-flagEN
Read this story in the original language, English!
es-flagES
Lee esta historia en Español!
zh-flagZH
用繁體中文閱讀這個故事!
vi-flagVI
Đọc bài viết này bằng tiếng Việt!
ja-flagJA
この物語を日本語で読んでください!
ka-flagKA
წაიკითხეთ ეს ამბავი ქართულად!
da-flagDA
Læs denne historie på dansk!
ky-flagKY
Бул окуяны кыргызча окуңуз!
uk-flagUK
Читайте цю історію українською!
sn-flagSN
Verenga nyaya iyi muShona!
th-flagTH
อ่านเรื่องนี้เป็นภาษาไทย!
mn-flagMN
Энэ түүхийг монгол хэлээр уншаарай!
PS

ډېر اوږد؛ لوستل

د RAG سره د شخصي محلي چټ بوټ خدمت رامینځته کولو څرنګوالی د بکس څخه بهر کار کوي.
featured image - ډیپسیک (یا کوم بل AI ماډل) په خپل کور کې د څو لینونو کوډ سره چل کړئ
Tech Shinobi HackerNoon profile picture
Tech Shinobi

Tech Shinobi

@techshinobi

A Technologist who Cares about People

0-item

STORY’S CREDIBILITY

Code License

Code License

The code in this story is for educational purposes. The readers are solely responsible for whatever they build with it.

په دې وروستیو کې، د OpenAI د ChatGPT لپاره د بشپړ بدیل په توګه د خصوصي چیټ بوټ خدمت ته اړتیا شتون لري. نو، زه پریکړه کوم چې یو په کور کې پلي کړم او دا زما د شبکې پرنټر او NAS (OpenMediaVault) سره یوځای زما په کورنۍ کې هرچا ته د لاسرسي وړ کړم.


په تیرو وختونو کې، ما خلکو ته د انګلیسي دندو لپاره د لاما لړۍ او د چینایي کارونو لپاره د Qwen لړۍ کارولو سپارښتنه کوله. د خلاصې سرچینې ماډل شتون نه درلود چې د ملکیتونو (GPT/کلاډ) په پرتله په څو ژبو کارونو کې کافي قوي وي.


په هرصورت، لکه څنګه چې موږ ټول پوهیږو - پدې وروستیو کې شیان بدل شوي. زه کله ناکله DeepSeek-V2 کاروم هرکله چې زه د Qwen2.5 سره ستړی شوی یم او د هارډویر نشتوالي له امله د DeepSeek V2.5 او V3 سره شاته یم. مګر ډیپ سیک ما مایوسه نه کړه ، R1 خورا اغیزناک ترسره کوي او د 1.5B په څیر کوچنی چمتو کوي!


دا پدې مانا ده چې موږ کولی شو دا حتی په CPU کې د ځینې پام وړ کارونکي تجربې سره پرمخ یوسو. لکه څنګه چې ډیری خلک د لوبو لپاره GPUs لري، سرعت کومه مسله نده. د محلي LLMs پروسس کول د اسنادو او عکسونو اپلوډ کول یوه لویه ګټه ده ځکه چې OpenAI د وړیا حسابونو لپاره دا کارول محدودوي.


که څه هم د بنډل اولاما ملاتړ سره د خلاص WebUI نصب کول د رسمي یو لاین کمانډ سره خورا اسانه دي:

 docker run -d -p 3000:8080 --gpus=all -v ollama:/root/.ollama -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:ollama


مګر د RAG (ویب لټون) ترلاسه کول د ډیری خلکو لپاره کار کول اسانه ندي ، نو زه غواړم یو څه د بکس څخه بهر حل ومومئ.


لکه څنګه چې ما په خپل وروستي پوسټ کې یادونه وکړه ، بندر د مختلف LLM سټیک سره تجربې کولو لپاره عالي ټیسټ بیډ دی. مګر دا نه یوازې د دې لپاره عالي دی ، دا د RAG سره د بکس څخه بهر کار کولو سره د ځان کوربه توب محلي LLMs لپاره یو په زړه پوری حل هم دی. نو، راځئ چې له پیل څخه یې پلي کول پیل کړو او د ګامونو پریښودلو لپاره وړیا احساس وکړو ځکه چې ډیری خلک د OS نصبولو څخه پیل نه کوي.

د سیسټم چمتو کول (اختیاري)

د پخوا په څیر، debian-11.6.0-amd64-netinst.iso په کارولو سره د نصب کولو پروسې ته لاړ شئ


sudoer usermod -aG sudo username بیا ریبوټ کړئ


(اختیاري) اضافي تبادله اضافه کړئ

 fallocate -l 64G /home/swapfile chmod 600 /home/swapfile mkswap /home/swapfile swapon /home/swapfile


او د سویپ فایل دوامداره nano /etc/fstab جوړ کړئ

 UUID=xxxxx-xxx swap swap defaults,pri=100 0 0 /home/swapfile swap swap defaults,pri=10 0 0

swapon --show یا free -h سره وګورئ


د نوویو ډرایور غیر فعال کړئ

 bash -c "echo blacklist nouveau > /etc/modprobe.d/blacklist-nvidia-nouveau.conf" bash -c "echo options nouveau modeset=0 >> /etc/modprobe.d/blacklist-nvidia-nouveau.conf" update-initramfs -u update-grub reboot


انحصارونه نصب کړئ

 apt install linux-headers-`uname -r` build-essential libglu1-mesa-dev libx11-dev libxi-dev libxmu-dev gcc software-properties-common sudo git python3 python3-venv pip libgl1 git-lfs -y


(اختیاري) د اړتیا په صورت کې غیر نصب کول ترسره کړئ

 apt-get purge nvidia* apt remove nvidia* apt-get purge cuda* apt remove cuda* rm /etc/apt/sources.list.d/cuda* apt-get autoremove && apt-get autoclean rm -rf /usr/local/cuda*


cuda-tookit او cuda نصب کړئ

 wget https://developer.download.nvidia.com/compute/cuda/12.4.1/local_installers/cuda-repo-debian11-12-4-local_12.4.1-550.54.15-1_amd64.deb sudo dpkg -i cuda-repo-debian11-12-4-local_12.4.1-550.54.15-1_amd64.debsudo cp /var/cuda-repo-debian11-12-4-local/cuda-*-keyring.gpg /usr/share/keyrings/ sudo add-apt-repository contrib sudo apt-get update sudo apt-get -y install cuda-toolkit-12-4 sudo apt install libxnvctrl0=550.54.15-1 sudo apt-get install -y cuda-drivers


د NVIDIA کانټینر Toolkit نصب کړئ ځکه چې بندر د ډاکر پر بنسټ دی

 curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey | sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg \ && curl -s -L https://nvidia.github.io/libnvidia-container/stable/deb/nvidia-container-toolkit.list | \ sed 's#deb https://#deb [signed-by=/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://#g' | \ sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list


بیا sudo apt-get update او sudo apt-get install -y nvidia-container-toolkit


د cuda د نصبولو وروسته عمل ترسره کړئ nano ~/.bashrc

 export PATH=/usr/local/cuda-12.4/bin${PATH:+:${PATH}} export LD_LIBRARY_PATH=/usr/local/cuda-12.4/lib64${LD_LIBRARY_PATH:+:${LD_LIBRARY_PATH}}


بیا د بدلونونو پلي کولو لپاره sudo update-initramfs -u , ldconfig یا source ~/.bashrc


د ریبوټ وروسته، nvidia-smi او nvcc --version سره تایید کړئ


مینیکونډا نصب کړئ (اختیاري، نه د بندر لپاره)

 wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh && sudo chmod +x Miniconda3-latest-Linux-x86_64.sh && bash Miniconda3-latest-Linux-x86_64.sh

ډاکر او هاربر

ډاکر نصب کړئ

 # Add Docker's official GPG key: sudo apt-get update sudo apt-get install ca-certificates curl sudo install -m 0755 -d /etc/apt/keyrings sudo curl -fsSL https://download.docker.com/linux/debian/gpg -o /etc/apt/keyrings/docker.asc sudo chmod a+r /etc/apt/keyrings/docker.asc # Add the repository to Apt sources: echo \ "deb [arch=$(dpkg --print-architecture) signed-by=/etc/apt/keyrings/docker.asc] https://download.docker.com/linux/debian \ $(. /etc/os-release && echo "$VERSION_CODENAME") stable" | \ sudo tee /etc/apt/sources.list.d/docker.list > /dev/null sudo apt-get update sudo apt-get install docker-ce docker-ce-cli containerd.io docker-buildx-plugin docker-compose-plugin

د سوډو پرته د ډاکر لپاره وروسته نصب کول ترسره کړئ

 sudo groupadd docker sudo usermod -aG docker $USER newgrp docker docker run hello-world

د هاربر لاسي نصب کول

 git clone https://github.com/av/harbor.git && cd harbor ./harbor.sh ln


harbor --version


harbor defaults add searxng


د چک کولو لپاره harbor defaults list وکاروئ، اوس درې خدمتونه فعال دي: ollama ، webui ، searxng


په ډاکر کې د دې خدماتو د راوستلو لپاره harbor up سره وګرځئ


harbor ps docker ps په توګه وکاروئ، او د ټیلینګ لاګونو لیدلو لپاره harbor logs


اوس د خلاص ویبی فرنټ اینډ په 0.0.0.0:33801 کې خدمت کوي او http://localhost:33801 یا د سرور IP پتې سره د LAN څخه مراجعینو ته لاسرسی کیدی شي.


watch -n 0.3 nvidia-smi سره د VRAM کارول وڅارئ



harbor up ollama --tail یا harbor logs سره د څار لاګ


د اولاما ټول حکمونه د کارولو وړ دي لکه harbor ollama list


دا د نورو وسیلو (ډیسټاپ/موبایل) څخه د لاسرسي وخت دی ترڅو د اډمین حساب راجستر کړئ او همدا اوس موډل ډاونلوډ کړئ.

د محلي LLM کارول

د اډمین حساب سره د ننوتلو وروسته ، د پورتنۍ ښیې اوتار آیکون کلیک وکړئ ، Admin Panel خلاص کړئ بیا Settings ، یا په ساده ډول د http://ip:33801/admin/settings له لارې لاسرسی ومومئ.


په Models کلیک وکړئ، او په پورتنۍ ښي خوا کې د Manage Models کلیک وکړئ کوم چې د ډاونلوډ تڼۍ په څیر ښکاري.


deepseek-r1 یا کوم بل ماډل په لاندې متن بکس کې واچوئ Pull a model from Ollama.com او په ښي خوا کې د ډاونلوډ تڼۍ کلیک وکړئ.


د ماډل ډاونلوډ کولو وروسته ، دا ممکن ریفریش ته اړتیا ولري او نوی ډاونلوډ شوی ماډل به د New Chat (کور) پا pageې کې د ډراپ ډاون مینو لاندې د کارولو وړ وي.


اوس، دا نه یوازې د ChatGPT لپاره د چیټ بوټ بدیل چلوي، بلکې د OpenAI API لپاره د بشپړ فعال API بدیل، او د ګوګل لپاره د شخصي لټون انجن بدیل هم!


webui د LAN له لارې د لاسرسي وړ دی: http://ip:33801

ollama د LAN له لارې د لاسرسي وړ دی: http://ip:33821

searxng د LAN له لارې د لاسرسي وړ دی: http://ip:33811


د LLM API ادغام سره د هر غوښتنلیک سره Ollama API ته زنګ ووهئ:

 http://ip:33821/api/ps http://ip:33821/v1/models http://ip:33821/api/generate http://ip:33821/v1/chat/completionsb


L O A D I N G
. . . comments & more!

About Author

Tech Shinobi HackerNoon profile picture
Tech Shinobi@techshinobi
A Technologist who Cares about People

hang tags

دا مقاله په کې وړاندې شوې وه...

Read on Terminal Reader
Read this story in a terminal
 Terminal
Read this story w/o Javascript
Read this story w/o Javascript
 Lite
Also published here
X REMOVE AD