TruLens RAG Triad 学习

0. 背景

近年来，RAG 架构已成为为大型语言模型 (LLMs) 提供上下文以避免出现幻觉的标准方法。然而，即使是 RAG 也会出现幻觉，尤其是在检索无法获取足够上下文或检索到与LLM生成的响应无关的上下文时。

TruEra 对 RAG 三元组进行了创新，并在RAG架构的每个边缘处评估幻觉，如下图所示：

1. RAG 三元组

RAG三元组由三个评估组成：上下文相关性、依据性和答案相关性。 对每个评估进行满意的评估，使我们确信我们的 LLM 应用程序没有幻觉。

• 上下文相关性

  任何 RAG 应用的第一步都是检索；为了验证我们检索的质量，我们要确保每个上下文块都与输入查询相关。 这非常重要，因为 LLM 将使用此上下文来形成答案，因此上下文中的任何无关信息都可能被编织成幻觉。 TruLens 通过使用序列化记录的结构，使您能够评估上下文相关性。

• 依据性

  检索上下文后，它由 LLM 形成答案。 LLM 经常会偏离提供的事实，夸大或扩展到一个听起来正确的答案。 为了验证我们应用程序的依据性ÿ