跳到主要内容

🦙开始使用 Llama.cpp

概述​

Open WebUI 让连接和管理本地 Llama.cpp 服务器以运行高效的量化语言模型变得简单且灵活。无论您是自己编译了 Llama.cpp 还是使用了预编译的二进制文件，本指南都会引导您完成以下内容：

  • 设置您的 Llama.cpp 服务器
  • 本地加载大型模型
  • 与 Open WebUI 集成以获得流畅的界面体验

让我们开始吧！

第1步：安装 Llama.cpp​

要使用 Llama.cpp 运行模型，您需要先在本地安装 Llama.cpp 服务器。

您可以选择以下方式：

安装后，请确保 llama-server 在您的本地系统路径中可用或记下其位置。

第2步：下载支持的模型​

您可以使用 Llama.cpp 加载和运行各种 GGUF 格式的量化大型语言模型（LLM）。一个令人印象深刻的例子是由 UnslothAI 优化的 DeepSeek-R1 1.58-bit 模型。要下载此版本，请执行以下操作：

  1. 访问 Unsloth DeepSeek-R1 的 Hugging Face 仓库
  2. 下载 1.58-bit 量化版本 —— 大约 131GB。

或者，您可以使用 Python 编程方式下载：

# pip install huggingface_hub hf_transfer

from huggingface_hub import snapshot_download

snapshot_download(
    repo_id = "unsloth/DeepSeek-R1-GGUF",
    local_dir = "DeepSeek-R1-GGUF",
    allow_patterns = ["*UD-IQ1_S*"],  # 仅下载 1.58-bit 版本
)

这将会把模型文件下载到类似的目录中：

DeepSeek-R1-GGUF/
└── DeepSeek-R1-UD-IQ1_S/
    ├── DeepSeek-R1-UD-IQ1_S-00001-of-00003.gguf
    ├── DeepSeek-R1-UD-IQ1_S-00002-of-00003.gguf
    └── DeepSeek-R1-UD-IQ1_S-00003-of-00003.gguf

📍 请记录下第一个 GGUF 文件的完整路径 —— 您将在第3步中用到。

第3步：使用 Llama.cpp 提供模型服务​

使用 llama-server 二进制文件启动模型服务器。导航到您的 llama.cpp 文件夹（例如 build/bin），然后运行：

./llama-server \
  --model /your/full/path/to/DeepSeek-R1-UD-IQ1_S-00001-of-00003.gguf \
  --port 10000 \
  --ctx-size 1024 \
  --n-gpu-layers 40

🛠️ 根据您的机器调整参数：

  • --model: 您的 .gguf 模型文件路径
  • --port: 10000（或选择其他开放端口）
  • --ctx-size: Token 上下文长度（可根据 RAM 增加）
  • --n-gpu-layers: 分配给 GPU 的层数以提高性能

服务器运行后，它将在以下地址暴露本地 OpenAI 兼容 API：

http://127.0.0.1:10000

第4步：将 Llama.cpp 连接到 Open WebUI​

要直接通过 Open WebUI 控制和查询本地运行的模型：

  1. 在浏览器中打开 Open WebUI
  2. 转到 ⚙️ 管理设置 → 连接 → OpenAI 连接
  3. 点击 ➕ 添加连接并输入以下信息：
  • URL: http://127.0.0.1:10000/v1
    （如果在 Docker 中运行 WebUI，则使用 http://host.docker.internal:10000/v1）
  • API 密钥: none （留空）

💡 保存后，Open WebUI 将开始使用您的本地 Llama.cpp 服务器作为后端！

在 Open WebUI 中连接 Llama.cpp

快速提示：通过聊天界面试用模型​

连接后，从 Open WebUI 聊天菜单中选择模型并开始交互！

模型聊天预览

您准备好了！​

配置完成后，Open WebUI 使您能够轻松：

  • 管理和切换由 Llama.cpp 提供的本地模型
  • 使用无需密钥的 OpenAI 兼容 API
  • 从您的机器上直接实验大型模型如 DeepSeek-R1！

🚀 祝您在实验和开发中玩得开心！