🔎 Генерация с дополненной выборкой (RAG)

warning

Если вы используете Ollama, обратите внимание, что по умолчанию используется контекст длиной 2048 токенов. Это может означать, что извлеченные данные вообще не будут использованы, поскольку они не входят в доступное окно контекста. Чтобы улучшить производительность генерации с дополненной выборкой (RAG), следует увеличить длину контекста до 8192+ токенов в настройках модели Ollama.

Генерация с дополненной выборкой (RAG) — это передовая технология, которая улучшает возможности чат-ботов путем включения контекста из различных источников. RAG выполняет выборку релевантной информации из множества источников, таких как локальные и удаленные документы, веб-контент и даже мультимедийные ресурсы, такие как видео на YouTube. Извлеченный текст затем объединяется с предопределенным шаблоном RAG и добавляется перед запросом пользователя, обеспечивая более информированный и контекстуально релевантный ответ.

Одним из ключевых преимуществ RAG является его способность получать и интегрировать информацию из разнообразных источников, что делает его идеальным решением для сложных сценариев общения. Например, когда пользователь задает вопрос, связанный с определенным документом или веб-страницей, RAG может извлечь и включить соответствующую информацию из этого источника в ответ в чате. RAG также может извлекать и включать информацию из мультимедийных источников, таких как видео на YouTube. Анализируя стенограммы или субтитры этих видео, RAG может выделить важную информацию и включить ее в ответ в чате.

Интеграция локального и удаленного RAG

Локальные документы сначала необходимо загрузить через раздел "Документы" в области Рабочего пространства, чтобы получить к ним доступ, используя символ # перед запросом. Нажмите на форматированный URL, который появляется над окном чата. После выбора значок документа появляется над полем Отправить сообщение, указывая на успешное извлечение.

Вы также можете загружать документы в область рабочего пространства с их доступом, начав запрос с #, за которым следует URL. Это позволяет напрямую включать веб-контент в ваш разговор.

Веб-поиск для RAG

Для интеграции веб-контента начните запрос в чате с #, за которым следует целевой URL. Нажмите на форматированный URL в поле, которое появляется над окном чата. После выбора значок документа появляется над полем Отправить сообщение, указывая на успешное извлечение. Open WebUI извлекает и парсит информацию из URL, если это возможно.

подсказка

Веб-страницы часто содержат лишнюю информацию, такую как навигация и нижний колонтитул. Для получения лучших результатов ссылаться на сырой или удобный для чтения вариант страницы.

Настройка шаблона RAG

Настройте шаблон RAG через меню Панель администратора > Настройки > Документы.

Поддержка вложений RAG

Измените модель вложений RAG напрямую в меню Панель администратора > Настройки > Документы. Эта функция поддерживает модели Ollama и OpenAI, позволяя вам улучшить обработку документов в соответствии с вашими требованиями.

Цитирования в функции RAG

Функция RAG позволяет пользователям легко отслеживать контекст документов, предоставленных LLM, с добавленными ссылками для контрольных точек. Это обеспечивает прозрачность и ответственность при использовании внешних источников в ваших чатах.

Улучшенный конвейер RAG

Переключаемая подфункция гибридного поиска для функции вложения RAG улучшает функциональность RAG через BM25, ранжирование осуществляется с помощью CrossEncoder, а пороговые значения релевантности настраиваются. Это обеспечивает более точный и адаптированный опыт использования RAG для вашего конкретного случая.

Конвейер RAG для YouTube

Специальный конвейер RAG для суммирования видео на YouTube через URL видео позволяет плавно взаимодействовать с транскрипциями видео напрямую. Эта инновационная функция позволяет включать видео-контент в ваши чаты, обогащая ваш опыт общения.

Парсинг документов

Разнообразные парсеры извлекают контент из локальных и удаленных документов. Подробнее см. функцию get_loader.

Интеграция Google Drive

В сочетании с проектом Google Cloud, где включены API Google Picker и Google Drive, эта функция позволяет пользователям напрямую получать доступ к своим файлам на Google Drive через интерфейс чата и загружать документы, слайды, таблицы и многое другое, добавляя их как контекст к вашему чату. Может быть включена в меню Панель администратора > Настройки > Документы. Необходимо установить переменные окружения GOOGLE_DRIVE_API_KEY и GOOGLE_DRIVE_CLIENT_ID для использования.

Подробные инструкции

1. Создайте клиента OAuth 2.0 и настройте разрешенные JavaScript источники и разрешенные URI перенаправления, указав URL (включая порт, если он есть), используемый для доступа к вашему экземпляру Open-WebUI.
2. Сделайте заметку об ID клиента, связанном с этим OAuth-клиентом.
3. Убедитесь, что вы включили как API Google Drive, так и API Google Picker для вашего проекта.
4. Также установите для вашего приложения (проекта) статус "Тестирование" и добавьте ваш email Google Drive в список пользователей.
5. Установите область доступа, чтобы включить все, что могут предложить эти API. Так как приложение будет находиться в режиме тестирования, Google не требует проверки для предоставления приложения доступа к данным ограниченного круга тестовых пользователей.
6. Перейдите на страницу API Google Picker и нажмите кнопку создания учетных данных.
7. Создайте ключ API, в разделе "Ограничения приложения" выберите "Сайты". Затем добавьте URL вашей Open-WebUI-инстанции, такой же, как настройки "Авторизованные источники JavaScript" и "Авторизованные URI перенаправления" из шага 1.
8. Настройте ограничения API для ключа API, чтобы он имел доступ только к API Google Drive и API Google Picker.
9. Установите переменную окружения GOOGLE_DRIVE_CLIENT_ID в значение ID клиента OAuth из шага 2.
10. Установите переменную окружения GOOGLE_DRIVE_API_KEY в значение ключа API, созданного на шаге 7 (НЕ секрет клиента OAuth из шага 2).
11. Установите GOOGLE_REDIRECT_URI в URL вашей Open-WebUI-инстанции (включая порт, если он есть).
12. Затем перезапустите вашу Open-WebUI-инстанцию с этими тремя переменными окружения.
13. После этого убедитесь, что Google Drive был включен в разделе Административная панель < Настройки < Документы < Google Drive.