Zum Hauptinhalt springen
warnung

Dieses Tutorial ist ein Beitrag der Community und wird nicht vom Open WebUI-Team unterstützt. Es dient lediglich als Demonstration, wie Sie Open WebUI für Ihren speziellen Anwendungsfall anpassen können. Möchten Sie beitragen? Sehen Sie sich das Beitragstutorial an.

Helicone-Integration mit Open WebUI

Helicone ist eine Open-Source-LLM-Beobachtungsplattform, die Entwicklern ermöglicht, produktionsreife Anwendungen, einschließlich Ihrer Open WebUI-Bereitstellung, zu überwachen, zu debuggen und zu verbessern.

Durch die Aktivierung von Helicone können Sie LLM-Anfragen protokollieren, Aufforderungen bewerten und experimentieren sowie sofortige Einblicke erhalten, die Ihnen helfen, Änderungen sicher in die Produktion zu bringen.

  • Echtzeitüberwachung mit konsolidierter Ansicht über Modelltypen hinweg: Überwachen Sie sowohl lokale Ollama-Modelle als auch Cloud-APIs über eine einzige Schnittstelle
  • Visualisierung und Wiederholung von Anfragen: Sehen Sie genau, welche Eingabeaufforderungen an jedes Modell in Open WebUI gesendet wurden, und bewerten Sie die von den LLMs generierten Ausgaben
  • Leistungsverfolgung von lokalen LLMs: Messen Sie die Antwortzeiten und den Durchsatz Ihrer selbst gehosteten Modelle
  • Nutzungsanalysen nach Modell: Vergleichen Sie Nutzungsmuster zwischen verschiedenen Modellen in Ihrer Open WebUI-Konfiguration
  • Nutzeranalysen, um Interaktionsmuster zu verstehen
  • Debugging-Funktionen, um Probleme mit Modellantworten zu beheben
  • Kostenverfolgung für Ihre LLM-Nutzung bei verschiedenen Anbietern

Wie man Helicone mit OpenWebUI integriert​

Schritt 1: Erstellen Sie ein Helicone-Konto und generieren Sie Ihren API-Schlüssel​

Erstellen Sie ein Helicone-Konto und loggen Sie sich ein, um einen API-Schlüssel hier zu generieren.

— Stellen Sie sicher, dass Sie einen nur schreibgeschützten API-Schlüssel generieren. Dies stellt sicher, dass Sie nur das Protokollieren von Daten zu Helicone erlauben, ohne Lesezugriff auf Ihre privaten Daten.

Schritt 2: Erstellen Sie ein OpenAI-Konto und generieren Sie Ihren API-Schlüssel​

Erstellen Sie ein OpenAI-Konto und melden Sie sich im OpenAI-Entwicklerportal an, um einen API-Schlüssel zu generieren.

Schritt 3: Führen Sie Ihre Open WebUI-Anwendung mit der Basis-URL von Helicone aus​

Um Ihre erste Open WebUI-Anwendung zu starten, verwenden Sie den Befehl aus den Open WebUI-Dokumenten und fügen Sie die API-Basis-URL von Helicone hinzu, damit Sie automatisch abfragen und überwachen können.

   # Legen Sie Ihre Umgebungsvariablen fest
   export HELICONE_API_KEY=<Ihr_API_SCHLÜSSEL>
   export OPENAI_API_KEY=<Ihr_OPENAI_API_SCHLÜSSEL>

   # Führen Sie Open WebUI mit Helicone-Integration aus
   docker run -d -p 3000:8080 \
     -e OPENAI_API_BASE_URL="https://oai.helicone.ai/v1/$HELICONE_API_KEY" \
     -e OPENAI_API_KEY="$OPENAI_API_KEY" \
     --name open-webui \
     ghcr.io/open-webui/open-webui

Wenn Sie bereits eine Open WebUI-Anwendung bereitgestellt haben, gehen Sie zu Admin Panel > Settings > Connections und klicken Sie auf das +-Symbol für „Verwaltung von OpenAI-API-Verbindungen“. Aktualisieren Sie die folgenden Eigenschaften:

  • Ihre API-Basis-URL wäre https://oai.helicone.ai/v1/<Ihr_HELICONE_API_KEY>
  • Der API-Schlüssel wäre Ihr OpenAI-API-Schlüssel.

Open WebUI Helicone Einrichtung

Schritt 4: Stellen Sie sicher, dass das Monitoring funktioniert​

Um sicherzustellen, dass Ihre Integration funktioniert, loggen Sie sich ins Dashboard von Helicone ein und überprüfen Sie den Reiter „Requests“.

Sie sollten sehen, dass die Anfragen, die Sie über Ihre Open WebUI-Oberfläche gestellt haben, bereits in Helicone protokolliert werden.

Beispiel Helicone Trace

Mehr erfahren​

Für eine umfassende Anleitung zu Helicone können Sie die Dokumentation von Helicone hier einsehen.