過濾器

過濾器用於對用戶傳入的消息和助手（LLM）傳出的消息執行操作。在過濾器中可以採取的潛在操作包括將消息發送到監控平臺（例如 Langfuse 或 DataDog）、修改消息內容、攔截有害消息、將消息翻譯成其他語言或限制來自某些用戶的消息速率。有關示例列表在 Pipelines repo 中維護。過濾器可以作為函數執行，或者在 Pipelines 伺服器上執行。一般的工作流程可以參考下圖。

當在模型或管道上啟用了過濾器管道時，用戶的傳入消息（或「入口」）將被傳遞到過濾器進行處理。過濾器對消息執行所需操作後，向 LLM 模型請求聊天完成。最後，過濾器對傳出的 LLM 消息（或「出口」）進行後處理，然後將其發送給用戶。