注意

本教程是社区贡献内容，不受 Open WebUI 团队支持。它仅用于示范如何根据特定需求自定义 Open WebUI。想要贡献？请查看贡献教程。

备注

本指南已经通过手动安装验证与 Open WebUI 的设置。

使用 Intel GPU 和 IPEX-LLM 设置本地 LLM

信息

IPEX-LLM 是一个用于在 Intel CPU 和 GPU（例如配备集成 GPU 的本地 PC，离散 GPU 如 Arc A 系列、Flex 和 Max）上运行 LLM 的 PyTorch 库，具有非常低的延迟。

本教程演示如何通过在 Intel GPU 上运行的 IPEX-LLM 加速 Ollama 后端设置 Open WebUI。按照此指南，您甚至可以在低成本的 PC（例如仅配备集成 GPU）上设置 Open WebUI，获得流畅的体验。

在 Intel GPU 上启动 Ollama Serve

请参阅 IPEX-LLM 官方文档中的本指南，了解如何安装和运行由 IPEX-LLM 加速的 Ollama serve。

提示

如果您希望从其他机器访问 Ollama 服务，请确保在执行 ollama serve 命令之前设置或导出环境变量 OLLAMA_HOST=0.0.0.0。

配置 Open WebUI

通过菜单中的设置 -> 连接访问 Ollama 设置。默认情况下，Ollama 基础 URL预设为 https://localhost:11434，如下面的截图所示。要验证 Ollama 服务连接状态，请单击文本框旁的刷新按钮。如果 WebUI 无法与 Ollama 服务器建立连接，您将看到一条错误消息，提示WebUI 无法连接到 Ollama。

如果连接成功，您将看到一条消息提示服务连接已验证，如下面的截图所示。

提示

如果您想使用托管在其他 URL 下的 Ollama 服务器，只需将 Ollama 基础 URL 更新为新 URL，然后按下刷新按钮重新确认与 Ollama 的连接。