Zum Hauptinhalt springen
warnung

Dieses Tutorial ist ein Beitrag der Community und wird nicht vom Open WebUI-Team unterstützt. Es dient lediglich als Demonstration dafür, wie Open WebUI für Ihren spezifischen Anwendungsfall angepasst werden kann. Möchten Sie contribute? Schauen Sie sich das Contributing-Tutorial an.

Integration der Continue.dev VSCode-Erweiterung mit Open WebUI

Erweiterung herunterladen​

Sie können die VSCode-Erweiterung hier im Visual Studio Marketplace herunterladen.

Nach der Installation sollten Sie jetzt eine continue-Registerkarte in der Seitenleiste haben. Öffnen Sie diese.

Klicken Sie auf den Assistenten-Selektor über dem Haupt-Chat-Eingabefeld. Fahren Sie dann mit der Maus über "Lokaler Assistent", und Sie sollten ein Einstellungssymbol sehen (sieht aus wie ein Zahnrad).

Sobald Sie auf das Einstellungssymbol klicken, sollte sich eine config.yaml im Editor öffnen.

Hier können Sie Continue konfigurieren, um Open WebUI zu verwenden.

Derzeit unterstützt der ollama-Anbieter keine Authentifizierung, sodass wir diesen Anbieter nicht mit Open WebUI verwenden können.

Jedoch Ollama und Open WebUI sind beide mit der OpenAI API-Spezifikation kompatibel. Sie können einen Blog-Beitrag von Ollama hier dazu sehen.

Wir können weiterhin Continue so einrichten, dass es den openai-Anbieter nutzt, wodurch wir das Authentifizierungs-Token von Open WebUI verwenden können.

Konfiguration​

In config.yaml müssen Sie lediglich die folgenden Optionen hinzufügen/ändern.

Anbieter auf openai ändern​

provider: openai

apiBase hinzufügen oder aktualisieren​

Setzen Sie dies auf Ihre Open WebUI-Domain am Ende.

apiBase: http://localhost:3000/ # Falls Sie die Docker-Anleitung befolgt haben.

apiKey hinzufügen​

apiKey: sk-79970662256d425eb274fc4563d4525b # Ersetzen Sie dies durch Ihren API-Schlüssel

Sie können Ihren API-Schlüssel in Open WebUI -> Einstellungen -> Konto -> API-Schlüssel finden und generieren.

Sie sollten den "API-Schlüssel" kopieren (dieser beginnt mit sk-)

Beispielkonfiguration​

Hier ist ein Basisbeispiel für config.yaml, das Open WebUI über einen openai-Anbieter verwendet. Granite Code wird als Modell verwendet. Stellen Sie sicher, dass Sie das Modell vorher in Ihre Ollama-Instanzen einziehen.

name: Lokaler Assistent
version: 1.0.0
schema: v1
models:
  - name: Granite Code
    provider: openai
    model: granite-code:latest
    env:
      useLegacyCompletionsEndpoint: false
    apiBase: http://YOUROPENWEBUI/ollama/v1
    apiKey: sk-YOUR-API-KEY
    roles:
      - chat
      - edit

  - name: Modell ABC aus Pipeline
    provider: openai
    model: PIPELINE_MODEL_ID
    env:
      useLegacyCompletionsEndpoint: false
    apiBase: http://YOUROPENWEBUI/api
    apiKey: sk-YOUR-API-KEY
    roles:
      - chat
      - edit

  - name: Granite Code Autocomplete
    provider: openai
    model: granite-code:latest
    env:
      useLegacyCompletionsEndpoint: false
    apiBase: http://localhost:3000/ollama/v1
    apiKey: sk-YOUR-API-KEY
    roles:
      - autocomplete

prompts:
  - name: test
    description: Schreibe Unit-Tests für hervorgehobenen Code
    prompt: |
      Schreibe eine umfassende Reihe von Unit-Tests für den ausgewählten Code. Es sollte Setup, Ausführung von Tests zur Überprüfung der Korrektheit einschließlich wichtiger Randfälle und Teardown enthalten. Stelle sicher, dass die Tests vollständig und anspruchsvoll sind. Gib die Tests nur als Chat-Ausgabe, bearbeite keine Datei.

Speichern Sie Ihre config.yaml und das war's!

Sie sollten jetzt Ihr Modell in der Continue-Registerkarte Modell-Auswahl sehen.

Wählen Sie es aus, und Sie sollten jetzt über Open WebUI (und/oder alle Pipelines, die Sie eingerichtet haben) kommunizieren können.

Sie können dies für so viele Modelle tun, wie Sie verwenden möchten; obwohl jedes Modell funktionieren sollte, sollten Sie ein Modell verwenden, das für Code ausgelegt ist.

Siehe die Continue-Dokumentation für zusätzliche Continue-Konfiguration, Continue Dokumentation