Перейти к основному содержимому

🤖 Модели

Раздел Models в Workspace на платформе Open WebUI представляет собой мощный инструмент, который позволяет создавать и управлять пользовательскими моделями, адаптированными для конкретных целей. Этот раздел служит центральным хабом для всех ваших модельных файлов, предоставляя возможности редактирования, клонирования, обмена, экспорта и скрытия моделей.

Управление модельными файлами​

В разделе Models вы можете выполнять следующие действия с модельными файлами:

  • Редактировать: Внесите изменения в характер и другие детали вашего модельного файла.
  • Клонировать: Создайте копию модельного файла, к которой будет добавлен -clone в идентификатор модели (Model ID). Обратите внимание, что нельзя клонировать базовую модель; сначала нужно создать модель, а затем ее клонировать.
  • Поделиться: Поделитесь своим модельным файлом с сообществом Open WebUI, нажав кнопку Share. Это перенаправит вас на страницу https://openwebui.com/models/create.
  • Экспортировать: Скачайте экспорт модельного файла в формате .json на ваш компьютер.
  • Скрыть: Скрыть модельный файл из выпадающего меню выбора модели в чате.

Редактирование модельного файла​

При редактировании модельного файла вы можете настроить следующие параметры:

  • Фото аватара: Загрузите фото аватара для представления вашего модельного файла.
  • Имя модели: Измените название вашего модельного файла.
  • Системная подсказка: Добавьте необязательную системную подсказку для вашего модельного файла.
  • Параметры модели: Настройте параметры вашего модельного файла.
  • Предложения для подсказок: Добавьте подсказки, которые будут отображаться на новой странице чата.
  • Документы: Добавьте документы в модельный файл (всегда RAG [Retrieval Augmented Generation]).
  • Инструменты, фильтры и действия: Выберите инструменты, фильтры и действия, доступные для модельного файла.
  • Vision: Включите параметр Vision для мультимодальных задач.
  • Теги: Добавьте теги к модельному файлу, которые будут отображаться рядом с названием модели в выпадающем меню выбора.

Обнаружение моделей и импорт/экспорт​

Раздел Models также включает функции для импорта и экспорта моделей:

  • Импорт моделей: Используйте эту кнопку для импорта моделей из файла .json или других источников.
  • Экспорт моделей: Используйте эту кнопку для экспорта всех ваших модельных файлов в одном файле .json.

Для загрузки моделей перейдите в Настройки Ollama на вкладке Connections. Кроме того, вы можете загружать модели напрямую, вводя команду, например, ollama run hf.co/[создатель модели]/[название модели], в выпадающем меню выбора модели. Это действие создаст кнопку с надписью "Pull [Model Name]" для загрузки.

Переключение моделей​

Пример: Переключение между Mistral, LLaVA и GPT-3.5 в многоэтапной задаче

  • Сценарий: Многоэтапный разговор включает различные типы задач, такие как ответы на простой FAQ, интерпретация изображения и генерация творческого ответа.

  • Причина переключения: Пользователь может использовать сильные стороны каждой модели для каждого этапа:

    • Mistral для общих вопросов, чтобы снизить время вычислений и затраты.
    • LLaVA для визуальных задач для получения информации из данных на основе изображений.
    • GPT-3.5 для генерации более сложного и нюансированного языкового вывода.

  • Процесс: Пользователь переключается между моделями в зависимости от типа задачи, чтобы максимально повысить эффективность и качество ответа.

    Как это сделать:

    1. Выберите модель: В интерфейсе чата выберите необходимую модель из выпадающего меню переключения моделей. Вы можете выбрать до двух моделей одновременно, и оба ответа будут сгенерированы. Вы можете переключаться между ними с помощью стрелок "назад" и "вперед".
    2. Сохранение контекста: Open WebUI сохраняет контекст разговора при переключении моделей, обеспечивая плавные переходы.