Ollama已成为本地运行大语言模型(LLMs)的标准,在本教程中,我想向您展示您应该知道 Ollama 最重要的事情。 https://youtu.be/AGAETsxjg0o?embedable=true 在 YouTube 上观看: Ollama 完整教程 在YouTube上观看: 全方位教程 全方位教程 全方位教程 什么是Ollama? Ollama 是一个开源平台,可在本地计算机上运行和管理大型语言模型 (LLM) 包,将模型重量、配置和数据合并到一个模型文件包中。 Ollama 提供命令行接口(CLI)、REST API 和 Python/JavaScript SDK,允许用户下载模型,离线运行它们,甚至调用用户定义的功能。 安裝 Ollama 访问官方网站下载 Ollama 它可用于M。 https://ollama.com/ ac, Windows, and Linux. https://ollama.com/ Linux 的: curl -fsSL https://ollama.com/install.sh | sh
 马克思: brew install ollama
 Windows:下载 安装并运行它。 .exe 如何跑 Ollama 在运行模型之前,了解量化是必不可少的。Ollama通常运行量化到4位(q4_0)的模型,这显著降低了内存使用量,质量损失最小。 Recommended Hardware: 
 
 
 
 
 7B 型号(例如,Llama 3,Mistral):需要 ~ 8GB RAM(在大多数现代笔记本电脑上运行)。 13B - 30B 模型: 需要 16GB - 32GB RAM。 70B+ 模型:需要 64GB+ RAM 或双 GPU。 GPU: NVIDIA GPU 或 Apple Silicon (M1/M2/M3) 对于速度非常推荐。 去吧 然后点击“模型”并选择测试的模型。 the Ollama website 奥尔玛网站 然后,点击模型名称并复制终端命令: 然后打开终端窗口并插入命令: 它将允许您立即下载和与模特聊天。 Ollama CLI - 核心指令 Ollama 的 CLI 是模型管理的核心,常见的命令包括: 
 
 
 
 
 
 
 
 
 
 ollama pull <model> — 下载一个模型 ollama run <model> — 互动地运行模型 ollama list or ollama ls — 列表下载的模型 ollama rm <model> — 删除模型 ollama create -f <Modelfile> — 创建自定义模型 ollama serve — 启动 Ollama API 服务器 ollama ps — 展示运行模特 ollama stop <model> — 停止运行模型 ollama帮助 - 显示帮助 先进的定制:与模型文件的自定义模型 您可以使用模型文件“精简”模型的个性和限制,这类似于Dockerfile。 
 
 
 创建一个名为 Modelfile 的文件 添加以下配置: # 1. Base the model on an existing one
FROM llama3
# 2. Set the creative temperature (0.0 = precise, 1.0 = creative)
PARAMETER temperature 0.7
# 3. Set the context window size (default is 4096 tokens)
PARAMETER num_ctx 4096
# 4. Define the System Prompt (The AI’s “brain”)
SYSTEM """
You are a Senior Python Backend Engineer.
Only answer with code snippets and brief technical explanations.
Do not be conversational.
"""
 定义基础模型 FROM 快速设置系统 SYSTEM 控制 inference 行为 PARAMETER 之后,您需要使用此命令来构建模型: ollama create [change-to-your-custom-name] -f Modelfile
 这将模型 + 提示模板合并为可重复使用的包。 然后跑进: ollama run [change-to-your-custom-name]
 点击或输入以查看全尺寸图像 Ollama 服务器(本地 API) Ollama 可以作为应用程序可以调用的本地服务器运行。 ollama serve
 它在 http://localhost:11434 默认情况下被收听。 原始 HTTP import requests
r = requests.post(
    "http://localhost:11434/api/chat",
    json={
        "model": "llama3",
        "messages": [{"role":"user","content":"Hello Ollama"}]
    }
)
print(r.json()["message"]["content"])
 这允许您将 Ollama 嵌入到应用程序或服务中。 Python 集成 使用 Ollama 在官方库中的 Python 应用程序中运行这些命令: 创建和激活虚拟环境: python3 -m venv .venv
source .venv/bin/activate
 安装官方图书馆: pip install ollama
 使用这个简单的Python代码: import ollama

# This sends a message to the model 'gemma:2b'
response = ollama.chat(model='gemma:2b', messages=[
  {
    'role': 'user',
    'content': 'Write a short poem about coding.'
  },
])

# Print the AI's reply
print(response['message']['content'])
 这在 Ollama 运行时会自动在本地 API 上运行。 You can also call a local server: import requests
r = requests.post(
    "http://localhost:11434/api/chat",
    json={
        "model": "llama3",
        "messages": [{"role":"user","content":"Hello Ollama"}]
    }
)
print(r.json()["message"]["content"])
 使用 Ollama 云 Ollama 还支持云模型 - 当您的机器无法运行非常大的模型时,这很有用。 首先,创建一个帐户 然后,在模型页面中,点击云链接,选择您想要测试的任何模型。 https://ollama.com/cloud https://ollama.com/cloud 在模型列表中,您将看到与 前缀**,这意味着它在Ollama云中可用。 -cloud 点击它并复制 CLI 命令,然后在终端内使用: ollama signin
 登录您的 Ollama 帐户. 一旦您使用 ollama signin 登录,然后运行云模型: ollama run nemotron-3-nano:30b-cloud
 云中的您自己的模型 虽然Ollama是本地首选,但Ollama Cloud允许您将自定义模型(您使用Modelfiles构建的模型)推向Web,与您的团队共享或在设备上使用。 
 
 
 
 在 ollama.com 创建一个帐户。 添加您的公钥(在 ~/.ollama/id_ed25519.pub 中找到)。 点击您的定制模型: ollama push your-username/change-to-your-custom-model-name
 结论 这是Ollama的完整概述! 这是一个强大的工具,为您提供对AI的完全控制. 如果您喜欢这个教程,请喜欢它,并在下面的部分分享您的反馈。 恭喜大家! ;)

Read My Blog

Support my work

該音頻是用故事的原始語言製作的！

完整的Ollama教程(2026) – 通过CLI,云和Python的LLM

About Author

註釋

標籤

这篇文章刊登在

Related Stories

成功云迁移的完整指南：策略和最佳实践

Telegram：加密岛通往大陆的桥梁

Claude Sonnet 3.5 系统提示泄漏：法医分析

如何将您的工作流程提高 10 倍：17 个必备应用程序

成功云迁移的完整指南：策略和最佳实践

Telegram：加密岛通往大陆的桥梁

Claude Sonnet 3.5 系统提示泄漏：法医分析

如何将您的工作流程提高 10 倍：17 个必备应用程序

Light-Mode

Classic

Newspaper

Minty

Dark-Mode

Neon Noir

Minty

HN StartUps