最近、OpenAI の ChatGPT の完全な代替として、プライベート チャットボット サービスが必要になっています。そこで、自宅に 1 つ実装し、ネットワーク プリンターと と一緒に家族全員がアクセスできるようにすることにしました。 NAS (OpenMediaVault) 以前、私は英語のタスクには Llama シリーズ、中国語のタスクには Qwen シリーズの使用を推奨していました。独自のモデル (GPT/Claude) と比較して、多言語タスクに十分対応できるオープンソース モデルはありませんでした。 しかし、皆さんご存知のとおり、最近は状況が変わりました。私は Qwen2.5 に飽きるたびに DeepSeek-V2 を時々使用していましたが、ハードウェア不足のため DeepSeek V2.5 と V3 に遅れをとっていました。しかし、DeepSeek は期待を裏切りませんでした。R1 のパフォーマンスは素晴らしく、容量はわずか 1.5B です。 つまり、かなりのユーザー エクスペリエンスがあれば、CPU でも実行できます。多くの人がゲーム用に GPU を持っているため、速度は問題になりません。OpenAI では無料アカウントでの使用を制限しているため、アップロードされたドキュメントや画像をローカル LLM で処理できるのは大きな利点です。 、公式の 1 行コマンドを使用すると非常に簡単です。 バンドルされた Ollama サポートを備えた Open WebUI のインストールは docker run -d -p 3000:8080 --gpus=all -v ollama:/root/.ollama -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:ollama しかし、RAG (Web 検索) を機能させることはほとんどの人にとって簡単ではないので、すぐに使えるソリューションを見つけたいと思います。 で述べたように、Harbor はさまざまな LLM スタックを試すための優れたテストベッドです。しかし、それだけではありません。RAG がすぐに使える、ローカル LLM をセルフホストするためのオールインワン ソリューションでもあります。それでは、最初から実装してみましょう。ほとんどの人は OS のインストールから始めないので、手順を自由にスキップしてください。 前回の投稿 システムの準備（オプション） と同じように、 を使用してインストールプロセスを実行します。 以前 debian-11.6.0-amd64-netinst.iso sudoerに 追加して再起動します usermod -aG sudo username （オプション）スワップを追加する fallocate -l 64G /home/swapfile chmod 600 /home/swapfile mkswap /home/swapfile swapon /home/swapfile スワップファイルを永続化します nano /etc/fstab UUID=xxxxx-xxx swap swap defaults,pri=100 0 0 /home/swapfile swap swap defaults,pri=10 0 0 または で確認する swapon --show free -h Nouveau ドライバーを無効にする bash -c "echo blacklist nouveau > /etc/modprobe.d/blacklist-nvidia-nouveau.conf" bash -c "echo options nouveau modeset=0 >> /etc/modprobe.d/blacklist-nvidia-nouveau.conf" update-initramfs -u update-grub reboot 依存関係をインストールする apt install linux-headers-`uname -r` build-essential libglu1-mesa-dev libx11-dev libxi-dev libxmu-dev gcc software-properties-common sudo git python3 python3-venv pip libgl1 git-lfs -y (オプション) 必要に応じてアンインストールを実行します apt-get purge nvidia* apt remove nvidia* apt-get purge cuda* apt remove cuda* rm /etc/apt/sources.list.d/cuda* apt-get autoremove && apt-get autoclean rm -rf /usr/local/cuda* cuda-tookitとcudaをインストールする wget https://developer.download.nvidia.com/compute/cuda/12.4.1/local_installers/cuda-repo-debian11-12-4-local_12.4.1-550.54.15-1_amd64.deb sudo dpkg -i cuda-repo-debian11-12-4-local_12.4.1-550.54.15-1_amd64.debsudo cp /var/cuda-repo-debian11-12-4-local/cuda-*-keyring.gpg /usr/share/keyrings/ sudo add-apt-repository contrib sudo apt-get update sudo apt-get -y install cuda-toolkit-12-4 sudo apt install libxnvctrl0=550.54.15-1 sudo apt-get install -y cuda-drivers ハーバーはdockerベースなので、 NVIDIA Container Toolkitをインストールします。 curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey | sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg \ && curl -s -L https://nvidia.github.io/libnvidia-container/stable/deb/nvidia-container-toolkit.list | \ sed 's#deb https://#deb [signed-by=/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://#g' | \ sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list 次に、 と sudo apt-get update sudo apt-get install -y nvidia-container-toolkit cuda を実行する インストール後のアクション nano ~/.bashrc export PATH=/usr/local/cuda-12.4/bin${PATH:+:${PATH}} export LD_LIBRARY_PATH=/usr/local/cuda-12.4/lib64${LD_LIBRARY_PATH:+:${LD_LIBRARY_PATH}} 次に、 、 、または を実行して変更を適用します。 sudo update-initramfs -u ldconfig source ~/.bashrc 再起動後、 と で確認します。 nvidia-smi nvcc --version Miniconda をインストールします (オプション、harbor 用ではありません) wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh && sudo chmod +x Miniconda3-latest-Linux-x86_64.sh && bash Miniconda3-latest-Linux-x86_64.sh ドッカーと港湾 dockerをインストールする # Add Docker's official GPG key: sudo apt-get update sudo apt-get install ca-certificates curl sudo install -m 0755 -d /etc/apt/keyrings sudo curl -fsSL https://download.docker.com/linux/debian/gpg -o /etc/apt/keyrings/docker.asc sudo chmod a+r /etc/apt/keyrings/docker.asc # Add the repository to Apt sources: echo \ "deb [arch=$(dpkg --print-architecture) signed-by=/etc/apt/keyrings/docker.asc] https://download.docker.com/linux/debian \ $(. /etc/os-release && echo "$VERSION_CODENAME") stable" | \ sudo tee /etc/apt/sources.list.d/docker.list > /dev/null sudo apt-get update sudo apt-get install docker-ce docker-ce-cli containerd.io docker-buildx-plugin docker-compose-plugin sudo なしで docker の 実行する インストール後を sudo groupadd docker sudo usermod -aG docker $USER newgrp docker docker run hello-world Harborの手動インストール git clone https://github.com/av/harbor.git && cd harbor ./harbor.sh ln で確認する harbor --version RAGサポートをデフォルトに追加し、 harbor defaults add searxng 使用して確認すると、現在 、 、 3 つのサービスがアクティブになっています。 harbor defaults list ollama webui searxng を実行して、docker でこれらのサービスを起動します。 harbor up として を使用し、 使用して tailing ログを確認します。 docker ps harbor ps harbor logs 現在、open-webui フロントエンドは で提供されており、 またはサーバーの IP アドレスを持つ LAN のクライアントからアクセスできます。 0.0.0.0:33801 http://localhost:33801 で VRAM の使用状況を監視する watch -n 0.3 nvidia-smi または でログを監視します。 harbor up ollama --tail harbor logs などのすべてのollamaコマンドが使用可能です。 harbor ollama list 他のデバイス (デスクトップ/モバイル) からアクセスして管理者アカウントを登録し、モデルをダウンロードしましょう。 ローカル LLM の使用 管理者アカウントでログインした後、右上のアバター アイコンをクリックし、 開いて 選択するか、単に `http://ip:33801/admin/settings. からアクセスします。 Admin Panel Settings をクリックし、右上のダウンロード ボタンのような をクリックします。 Models Manage Models 下のテキストボックスに または を入力し 、右側のダウンロード ボタンをクリックします。 deepseek-r1 その他のモデル Pull a model from Ollama.com モデルをダウンロードした後、更新が必要になる場合があります。新しくダウンロードしたモデルは (ホーム) ページのドロップダウン メニューで使用できるようになります。 New Chat 現在、ChatGPT に代わるチャットボットだけでなく、OpenAI API に代わる完全に機能する API や、Google に代わるプライベート検索エンジンも実行されています。 webui は LAN 内で 経由でアクセスできます。 http://ip:33801 ollama は LAN 内で 経由でアクセスできます。 http://ip:33821 searxng は LAN 内で 経由でアクセスできます。 http://ip:33811 LLM API 統合を備えた任意のアプリケーションで 呼び出します。 Ollama API を http://ip:33821/api/ps http://ip:33821/v1/models http://ip:33821/api/generate http://ip:33821/v1/chat/completionsb
