Фильтры

Фильтры используются для выполнения действий с входящими сообщениями от пользователей и исходящими сообщениями ассистента (LLM). Возможные действия, которые можно выполнить с помощью фильтров, включают отправку сообщений на платформы мониторинга (например, Langfuse или DataDog), модификацию содержимого сообщений, блокировку токсичных сообщений, перевод сообщений на другой язык или ограничение частоты сообщений от определенных пользователей. Список примеров поддерживается в репозитории Pipelines. Фильтры могут выполняться как Функция или на сервере Pipelines. Общий рабочий процесс показан на изображении ниже.

Когда конвейер фильтров активирован для модели или трубы, входящее сообщение от пользователя (или "вход") передается фильтру для обработки. Фильтр выполняет желаемую операцию с сообщением перед запросом завершения чата у модели LLM. Наконец, фильтр выполняет постобработку выходящего сообщения LLM (или "выхода") перед его отправкой пользователю.