RAG系统与LLM评判及合成数据集创建简介
RAG系统设计与实现
RAG（检索增强生成）是一种内部查询工具，利用大型语言模型（LLM）从“知识”库中检索信息。与传统的LLM训练不同，RAG的成功依赖于LLM提取产品有用信息的能力，因此不能仅仅依据基准或语义进行评价。
系统评估解决方案
解决方案包括两方面：创建自定义评估数据集和利用LLM作为评判。LLM不仅参与数据集的创建，还对RAG系统的输出进行评估。
RAG系统开发过程
系统设计：RAG旨在解决特定内容因不在训练数据中而无法被LLM知晓的问题。通过将生成模型与检索模块结合，RAG可以轻松更新外部知识源提供的额外信息。
实现LLM评判：评估管道需要使用LLM生成合成评估数据集、设置LLM评判代理、构建和测试RAG系统。
生成合成评估数据集：通过从知识库获取文档，使用LLM生成基于这些文档的问题，创建包含上下文、问题、答案和来源文档的数据帧。
设置LLM评判代理：生成的问题通过质量检查，评判代理基于特定标准（如着地性、相关性和独立性）对每个问题进行评分。
构建RAG系统：文档预处理创建向量数据库，RAG检索器作为内部搜索引擎返回最相关的文档，LLM阅读器读取这些文档并形成答案。
系统评估：最后一步是利用评估数据集判断RAG系统输出的质量。
总结
文章总结了如何构建RAG系统而无需创建自己的评估数据集来测量LLM表现。通过利用LLM生成合成QA评估数据集和作为评判来制定精准/语义答案，RAG方法大大提高了系统性能。选拔合适的预训练LLM作为评判和提示模板/RAG模型的多种组合尝试对结果至关重要。
参考链接
- RAG评估：https://huggingface.co/learn/cookbook/en/rag_evaluation
- RAG应用评估：https://towardsdatascience.com/evaluating-rag-applications-with-ragas-81d67b0ee31a
- RAG评估深度分析：https://cobusgreyling.medium.com/rag-evaluation-9813a931b3d4
