🔎 검색 증강 생성 (RAG)

경고

만약 Ollama를 사용 중이라면, 기본적으로 2048 토큰 컨텍스트 길이로 설정되어 있다는 점에 주의하세요. 이로 인해 검색된 데이터가 사용 가능한 컨텍스트 창 내에 맞지 않아 전혀 사용되지 않을 수 있습니다. 검색 증강 생성 (RAG) 성능을 향상시키려면 Ollama 모델 설정에서 컨텍스트 길이를 8192+ 토큰으로 늘리는 것이 좋습니다.

검색 증강 생성 (RAG)은 다양한 소스의 컨텍스트를 통합함으로써 챗봇의 대화 기능을 향상시키는 첨단 기술입니다. 로컬 및 원격 문서, 웹 콘텐츠, 심지어 YouTube 비디오와 같은 멀티미디어 소스에서 관련 정보를 검색하여 이를 미리 정의된 RAG 템플릿과 결합하고 사용자의 프롬프트에 추가하여 보다 유익하고 맥락적인 응답을 제공합니다.

RAG의 주요 장점 중 하나는 다양한 소스에서 정보를 접근하고 통합할 수 있는 능력으로, 복잡한 대화 시나리오에 이상적인 솔루션입니다. 예를 들어, 사용자가 특정 문서나 웹페이지와 관련된 질문을 할 경우, RAG는 해당 소스에서 관련 정보를 검색하여 대화 응답에 통합할 수 있습니다. RAG는 YouTube 비디오와 같은 멀티미디어 소스에서도 정보를 검색하고 통합할 수 있습니다. 이러한 비디오의 대본이나 캡션을 분석하여 관련 정보를 추출하고 이를 대화 응답에 통합할 수 있습니다.

로컬 및 원격 RAG 통합

로컬 문서는 먼저 작업 공간 영역의 문서 섹션을 통해 업로드되어야 하며, 쿼리 전 # 기호를 사용해 액세스할 수 있습니다. 채팅 상자 위에 나타나는 형식화된 URL을 클릭하세요. 선택하면 Send a message 위에 문서 아이콘이 나타나며 성공적으로 검색되었음을 표시합니다.

#로 시작하고 URL을 따른 프롬프트를 사용하여 문서를 작업 공간 영역에 직접 로드할 수도 있습니다. 이를 통해 웹 콘텐츠를 대화에 직접 통합할 수 있습니다.

RAG를 위한 웹 검색

웹 콘텐츠 통합을 위해 대화에 #로 시작하고 대상 URL을 따른 쿼리를 시작하세요. 채팅 상자 위에 나타나는 형식화된 URL을 클릭하세요. 선택하면 Send a message 위에 문서 아이콘이 나타나며 성공적으로 검색되었음을 표시합니다. Open WebUI는 가능하다면 URL의 정보를 검색하고 구문을 분석합니다.

팁

웹 페이지는 네비게이션 및 푸터와 같은 추가 정보를 포함하는 경우가 많습니다. 더 나은 결과를 위해 페이지의 원본 또는 독자 친화적인 버전에 링크하세요.

RAG 템플릿 사용자 지정

관리자 패널 > 설정 > 문서 메뉴에서 RAG 템플릿을 사용자 지정하세요.

RAG 임베딩 지원

관리자 패널 > 설정 > 문서 메뉴에서 RAG 임베딩 모델을 직접 변경하세요. 이 기능은 Ollama 및 OpenAI 모델을 지원하며 요구 사항에 따라 문서 처리를 향상시킵니다.

RAG 기능 내 인용

RAG 기능은 사용자가 LLM에 제공된 문서의 컨텍스트를 추적할 수 있도록 추가된 인용을 통해 참조 포인트를 제공합니다. 이를 통해 외부 소스를 대화에 사용하는 데 있어 투명성과 신뢰성을 보장합니다.

향상된 RAG 파이프라인

RAG 임베딩 기능을 위한 하이브리드 검색 서브-기능은 BM25를 통해 RAG 기능을 향상시키며 CrossEncoder를 활용한 순위 재조정 및 설정 가능한 관련성 점수 임계값을 제공합니다. 이를 통해 특정 사용 사례에 맞는 더 정확하고 맞춤화된 RAG 경험을 제공합니다.

YouTube RAG 파이프라인

비디오 URL을 통해 YouTube 비디오를 요약하는 전용 RAG 파이프라인은 비디오 transcription과의 원활한 상호작용을 가능하게 합니다. 이 혁신적인 기능은 비디오 콘텐츠를 대화에 통합하여 대화 경험을 더욱 풍부하게 합니다.

문서 파싱

로컬 및 원격 문서에서 콘텐츠를 추출하기 위한 다양한 파서가 있습니다. 더 자세한 내용은 get_loader 기능을 참조하세요.

Google Drive 통합

Google Picker API와 Google Drive API가 활성화된 Google Cloud 프로젝트와 쌍을 이루는 경우, 이 기능을 통해 사용자는 채팅 인터페이스에서 직접 Drive 파일에 액세스하고 문서, 슬라이드, 스프레드시트 등을 업로드하여 대화의 컨텍스트로 사용할 수 있습니다. 관리자 패널 > 설정 > 문서 메뉴에서 활성화할 수 있습니다. 사용하려면 GOOGLE_DRIVE_API_KEY 및 GOOGLE_DRIVE_CLIENT_ID 환경 변수를 설정해야 합니다.

상세 지침

1. OAuth 2.0 클라이언트를 생성하고 인증된 JavaScript 출처 및 인증된 리디렉션 URI를 Open-WebUI 인스턴스에 액세스하는 URL (포트를 포함할 경우 함께)로 설정하세요.
2. 해당 OAuth 클라이언트와 관련된 클라이언트 ID를 기록해 두세요.
3. 프로젝트에서 Google Drive API와 Google Picker API를 모두 활성화했는지 확인하세요.
4. 또한 앱(프로젝트)을 테스트 모드로 설정하고 Google Drive 이메일을 사용자 목록에 추가하세요.
5. 권한 범위를 해당 API가 제공하는 모든 것을 포함하도록 설정하세요. 앱이 테스트 모드일 경우 Google은 제한된 테스트 사용자의 데이터를 액세스할 수 있도록 앱을 검증할 필요가 없습니다.
6. Google Picker API 페이지로 이동하여 자격 증명 생성 버튼을 클릭하세요.
7. API 키를 생성하고 애플리케이션 제한에서 웹사이트를 선택하세요. 그런 다음 1단계에서 Authorized JavaScript origins 및 Authorized redirect URIs 설정에 입력한 Open-WebUI 인스턴스의 URL을 추가하세요.
8. API 키에 대해 Google Drive API 및 Google Picker API에만 접근 권한을 설정하세요.
9. 환경 변수 GOOGLE_DRIVE_CLIENT_ID를 2단계에서 생성한 OAuth 클라이언트의 클라이언트 ID로 설정하세요.
10. 환경 변수 GOOGLE_DRIVE_API_KEY를 7단계에서 설정한 API 키 값으로 설정하세요 (2단계에서 생성한 OAuth 클라이언트 시크릿은 아님).
11. GOOGLE_REDIRECT_URI를 내 Open-WebUI 인스턴스의 URL로 설정하세요 (포트가 있을 경우 포함).
12. 그 후, 해당 환경 변수를 포함하여 Open-WebUI 인스턴스를 다시 시작하세요.
13. 그런 다음, Admin Panel < Settings < Documents < Google Drive에서 Google Drive가 활성화되었는지 확인하세요.