Перейти к основному содержимому

Уменьшение использования ОЗУ

Если вы развертываете этот образ в среде с ограниченными ресурсами ОЗУ, есть несколько способов уменьшить его размер.

На Raspberry Pi 4 (arm64) с версией v0.3.10 это позволило сократить потребление памяти в режиме ожидания с >1 ГБ до ~200 МБ (по данным команды docker container stats).

Вкратце​

Установите следующие переменные окружения (или соответствующие настройки в интерфейсе для уже существующего развертывания): RAG_EMBEDDING_ENGINE: ollama, AUDIO_STT_ENGINE: openai.

Более подробное объяснение​

Большая часть потребления памяти связана с загруженными ML-моделями. Даже если вы используете внешнюю языковую модель (OpenAI или независимую Ollama), многие модели могут загружаться для дополнительных задач.

На момент версии v0.3.10 это включает:

  • Речь в текст (по умолчанию используется Whisper)
  • Механизм RAG встраивания (по умолчанию используется локальная модель SentenceTransformers)
  • Генератор изображений (по умолчанию отключен)

Первые 2 компонента включены и используют локальные модели по умолчанию. Вы можете изменить модели через административную панель (RAG: категория Documents, настройка на Ollama или OpenAI; Речь в текст: секция Audio, настройка на OpenAI или WebAPI). Если вы развертываете новый образ Docker, вы также можете задать их с помощью следующих переменных окружения: RAG_EMBEDDING_ENGINE: ollama, AUDIO_STT_ENGINE: openai. Обратите внимание, что эти переменные окружения не влияют, если файл config.json уже существует.