Перейти к основному содержимому
warning

Этот обучающий материал является вкладом сообщества и не поддерживается командой Open WebUI. Он служит только демонстрацией того, как настроить Open WebUI под ваши конкретные задачи. Хотите внести свой вклад? Ознакомьтесь с руководством по внесению изменений.

Интеграция Helicone с Open WebUI

Helicone — это платформа наблюдаемости LLM с открытым исходным кодом, предназначенная для разработчиков, чтобы следить за работой, отлаживать и улучшать готовые к производству приложения, включая развертывание вашего Open WebUI.

Включив Helicone, вы сможете логировать запросы LLM, оценивать и экспериментировать с подсказками, а также получать мгновенные инсайты, которые помогут вам уверенно вносить изменения в производство.

  • Мониторинг в реальном времени с объединённым интерфейсом для разных типов моделей: Следите за локальными моделями Ollama и облачными API через единый интерфейс
  • Визуализация запросов и их воспроизведение: Просматривайте точные подсказки, отправленные в каждую модель Open WebUI, и результаты, сгенерированные LLM для оценки
  • Отслеживание производительности локальных LLM: Измеряйте время ответа и пропускную способность ваших моделей на собственных хостах
  • Аналитика использования по модели: Сравнивайте шаблоны использования разных моделей в вашей конфигурации Open WebUI
  • Аналитика пользователей, чтобы понимать шаблоны взаимодействий
  • Средства отладки, для устранения проблем с ответами моделей
  • Отслеживание затрат на использование LLM у различных провайдеров

Как интегрировать Helicone с OpenWebUI​

Шаг 1: Создайте учетную запись Helicone и сгенерируйте ваш API-ключ​

Создайте учетную запись Helicone и войдите, чтобы сгенерировать API-ключ здесь.

— Убедитесь, что вы создали API-ключ только для записи. Это гарантирует, что вы разрешите только запись данных в Helicone без доступа для чтения к вашим личным данным.

Шаг 2: Создайте учетную запись OpenAI и сгенерируйте ваш API-ключ​

Создайте учетную запись OpenAI и войдите в Портал разработчиков OpenAI, чтобы сгенерировать API-ключ.

Шаг 3: Запустите ваше приложение Open WebUI с использованием базового URL Helicone​

Чтобы запустить первое приложение Open WebUI, используйте команду из документации Open WebUI и включите базовый URL API Helicone для автоматического мониторинга.

   # Установите переменные среды
   export HELICONE_API_KEY=<ВАШ_API_KEY>
   export OPENAI_API_KEY=<ВАШ_API_КЛЮЧ_OPENAI>

   # Запустите Open WebUI с интеграцией Helicone
   docker run -d -p 3000:8080 \
     -e OPENAI_API_BASE_URL="https://oai.helicone.ai/v1/$HELICONE_API_KEY" \
     -e OPENAI_API_KEY="$OPENAI_API_KEY" \
     --name open-webui \
     ghcr.io/open-webui/open-webui

Если у вас уже развернуто приложение Open WebUI, перейдите в Панель администратора > Настройки > Соединения и нажмите на знак + для "Управления соединениями API OpenAI". Обновите следующие свойства:

  • Ваш Базовый URL API будет https://oai.helicone.ai/v1/<ВАШ_HELICONE_API_KEY>
  • Ваш API-КЛЮЧ будет ключом вашего OpenAI API.

Настройка Helicone в Open WebUI

Шаг 4: Убедитесь, что мониторинг работает​

Чтобы убедиться, что ваша интеграция работает, войдите в панель управления Helicone и проверьте вкладку "Запросы".

Вы должны увидеть запросы, которые вы отправили через интерфейс Open WebUI, уже записанные в Helicone.

Пример трассировки Helicone

Узнайте больше​

Для получения подробного руководства по Helicone, вы можете ознакомиться с документацией Helicone здесь.