注意
本教程是社区贡献内容,不受 Open WebUI 团队支持。它仅用于示范如何根据特定需求自定义 Open WebUI。想要贡献?请查看贡献教程。
备注
本指南已经通过手动安装验证与 Open WebUI 的设置。
使用 Intel GPU 和 IPEX-LLM 设置本地 LLM
信息
IPEX-LLM 是一个用于在 Intel CPU 和 GPU(例如配备集成 GPU 的本地 PC,离散 GPU 如 Arc A 系列、Flex 和 Max)上运行 LLM 的 PyTorch 库,具有非常低的延迟。
本教程演示如何通过在 Intel GPU 上运行的 IPEX-LLM 加速 Ollama 后端设置 Open WebUI。按照此指南,您甚至可以在低成本的 PC(例如仅配备集成 GPU)上设置 Open WebUI,获得流畅的体验。
在 Intel GPU 上启动 Ollama Serve
请参阅 IPEX-LLM 官方文档中的本指南,了解如何安装和运行由 IPEX-LLM 加速的 Ollama serve。
提示
如果您希望从其他机器访问 Ollama 服务,请确保在执行 ollama serve
命令之前设置或导出环境变量 OLLAMA_HOST=0.0.0.0
。