最近，需要私人聊天机器人服务来完全替代 OpenAI 的 ChatGPT。因此，我决定在家里实现一个，并让家里的每个人都可以访问它以及我的网络打印机和 。 NAS（OpenMediaVault） 过去，我经常建议大家用 Llama 系列做英语任务，用 Qwen 系列做中文任务。没有开源模型在多语言任务上比专有模型（GPT/Claude）更强大。 然而，众所周知，最近情况发生了变化。每当我厌倦了 Qwen2.5 时，我就会偶尔使用 DeepSeek-V2，并且由于缺乏硬件而落后于 DeepSeek V2.5 和 V3。但 DeepSeek 没有让我失望，R1 的表现非常出色，并且仅提供 1.5B！ 这意味着我们甚至可以在具有一定用户体验的 CPU 上运行它。由于许多人都有用于游戏的 GPU，因此速度不是问题。让本地 LLM 处理上传的文档和图像是一个很大的优势，因为 OpenAI 限制免费帐户的此类使用。 尽管使用官方的单行命令 非常容易： 安装捆绑的 Ollama 支持的 Open WebUI docker run -d -p 3000:8080 --gpus=all -v ollama:/root/.ollama -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:ollama 但是对于大多数人来说，让 RAG（网络搜索）正常工作并不容易，所以我想找到一些开箱即用的解决方案。 正如我在 中提到的，harbor 是试验不同 LLM 堆栈的绝佳试验台。但它不仅如此，它还是一个自托管本地 LLM 的一体化解决方案，RAG 开箱即用。所以，让我们从头开始实现它，并且可以随意跳过步骤，因为大多数人不会从操作系统安装开始。 上一篇文章 系统准备（可选） 与 相同，使用 完成安装过程 之前 debian-11.6.0-amd64-netinst.iso 添加sudoer 然后重启 usermod -aG sudo username （可选）添加额外交换 fallocate -l 64G /home/swapfile chmod 600 /home/swapfile mkswap /home/swapfile swapon /home/swapfile 并使交换文件持久化 nano /etc/fstab UUID=xxxxx-xxx swap swap defaults,pri=100 0 0 /home/swapfile swap swap defaults,pri=10 0 0 使用 或 检查 swapon --show free -h 禁用 Nouveau 驱动程序 bash -c "echo blacklist nouveau > /etc/modprobe.d/blacklist-nvidia-nouveau.conf" bash -c "echo options nouveau modeset=0 >> /etc/modprobe.d/blacklist-nvidia-nouveau.conf" update-initramfs -u update-grub reboot 安装依赖项 apt install linux-headers-`uname -r` build-essential libglu1-mesa-dev libx11-dev libxi-dev libxmu-dev gcc software-properties-common sudo git python3 python3-venv pip libgl1 git-lfs -y （可选）如果需要，执行卸载 apt-get purge nvidia* apt remove nvidia* apt-get purge cuda* apt remove cuda* rm /etc/apt/sources.list.d/cuda* apt-get autoremove && apt-get autoclean rm -rf /usr/local/cuda* 安装 cuda-tookit 和 cuda wget https://developer.download.nvidia.com/compute/cuda/12.4.1/local_installers/cuda-repo-debian11-12-4-local_12.4.1-550.54.15-1_amd64.deb sudo dpkg -i cuda-repo-debian11-12-4-local_12.4.1-550.54.15-1_amd64.debsudo cp /var/cuda-repo-debian11-12-4-local/cuda-*-keyring.gpg /usr/share/keyrings/ sudo add-apt-repository contrib sudo apt-get update sudo apt-get -y install cuda-toolkit-12-4 sudo apt install libxnvctrl0=550.54.15-1 sudo apt-get install -y cuda-drivers 因为 Harbor 是基于 Docker 的 安装 NVIDIA Container Toolkit， curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey | sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg \ && curl -s -L https://nvidia.github.io/libnvidia-container/stable/deb/nvidia-container-toolkit.list | \ sed 's#deb https://#deb [signed-by=/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://#g' | \ sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list 然后 和 sudo apt-get update sudo apt-get install -y nvidia-container-toolkit 执行 cuda 安装后操作 nano ~/.bashrc export PATH=/usr/local/cuda-12.4/bin${PATH:+:${PATH}} export LD_LIBRARY_PATH=/usr/local/cuda-12.4/lib64${LD_LIBRARY_PATH:+:${LD_LIBRARY_PATH}} 然后 ， 或 应用更改 sudo update-initramfs -u ldconfig source ~/.bashrc 重启后，使用 和 确认 nvidia-smi nvcc --version 安装 Miniconda（可选，不适用于 Harbor） wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh && sudo chmod +x Miniconda3-latest-Linux-x86_64.sh && bash Miniconda3-latest-Linux-x86_64.sh Docker 和 Harbor 安装 docker # Add Docker's official GPG key: sudo apt-get update sudo apt-get install ca-certificates curl sudo install -m 0755 -d /etc/apt/keyrings sudo curl -fsSL https://download.docker.com/linux/debian/gpg -o /etc/apt/keyrings/docker.asc sudo chmod a+r /etc/apt/keyrings/docker.asc # Add the repository to Apt sources: echo \ "deb [arch=$(dpkg --print-architecture) signed-by=/etc/apt/keyrings/docker.asc] https://download.docker.com/linux/debian \ $(. /etc/os-release && echo "$VERSION_CODENAME") stable" | \ sudo tee /etc/apt/sources.list.d/docker.list > /dev/null sudo apt-get update sudo apt-get install docker-ce docker-ce-cli containerd.io docker-buildx-plugin docker-compose-plugin 无需 sudo 即可执行 docker 的 后续安装 sudo groupadd docker sudo usermod -aG docker $USER newgrp docker docker run hello-world 手动安装 Harbor git clone https://github.com/av/harbor.git && cd harbor ./harbor.sh ln 使用 进行验证 harbor --version 添加 RAG 支持到默认设置，使用 harbor defaults add searxng 使用 检查，目前有三个服务处于活动状态： ， ， harbor defaults list ollama webui searxng 运行 在 docker 中启动这些服务 harbor up 使用 作为 ，并使用 查看 tailing 日志 harbor ps docker ps harbor logs 现在 open-webui 前端服务于 ，可以从 或使用服务器 IP 地址的 LAN 客户端进行访问。 0.0.0.0:33801 http://localhost:33801 使用 监控 VRAM 使用情况 watch -n 0.3 nvidia-smi 使用 或者 监控日志 harbor up ollama --tail harbor logs 所有 ollama 命令均可用，例如 harbor ollama list 现在是时候从其他设备（桌面/移动设备）访问以注册管理员帐户并下载模型了。 使用本地法学硕士 使用管理员帐户登录后，单击右上角的头像图标，打开 然后打开 ，或者直接通过“http：//ip：33801/admin/settings”访问。 Admin Panel Settings 单击 ，然后单击右上角的 （看起来像下载按钮）。 Models Manage Models 将 或 放在下面的文本框中 ，然后单击右侧的下载按钮。 deepseek-r1 任何其他模型 Pull a model from Ollama.com 模型下载后，可能需要刷新，新下载的模型将在 （主页）的下拉菜单下可用。 New Chat 现在，它不仅运行着 ChatGPT 的聊天机器人替代品，还运行着 OpenAI API 的功能齐全的 API 替代品，以及 Google 的私人搜索引擎替代品！ 局域网内可以通过以下方式访问 webui： http://ip:33801 ollama 可在 LAN 内通过以下方式访问： http://ip:33821 searxng 可在局域网内通过以下方式访问： http://ip:33811 使用任何具有 LLM API 集成的应用程序调用 ： Ollama API http://ip:33821/api/ps http://ip:33821/v1/models http://ip:33821/api/generate http://ip:33821/v1/chat/completionsb
