减少内存使用
如果您在内存受限的环境中部署此镜像,有一些方法可以瘦身镜像。
在树莓派4(arm64)上使用 v0.3.10 版本时,可以将空闲内存消耗从 >1GB 减少到 ~200MB(通过 docker container stats
观察)。
简要说明
设置以下环境变量(或针对现有部署的对应界面设置):RAG_EMBEDDING_ENGINE: ollama
, AUDIO_STT_ENGINE: openai
。
详细说明
大量内存消耗是由加载的机器学习模型引起的。即使您使用外部语言模型(OpenAI 或未绑定的 Ollama),仍可能有许多模型被加载用于其他用途。
截至 v0.3.10,包括:
- 语音转文本(默认使用 Whisper)
- RAG 嵌入引擎(默认使用本地 SentenceTransformers 模型)
- 图像生成引擎(默认禁用)
前两个默认启用并设置为本地模型。您可以在管理面板中更改模型(RAG:文档类别,设置为 Ollama 或 OpenAI;语音转文本:音频部分,选择 OpenAI 或 WebAPI)。
如果您正在部署一个新的 Docker 镜像,也可以通过以下环境变量来设置它们:RAG_EMBEDDING_ENGINE: ollama
, AUDIO_STT_ENGINE: openai
。请注意,如果 config.json
已存在,这些环境变量将不起作用。