之前我们聊到过RAG，它是目前非常常用的增强大模型能力的技术，通过检索增强生成（RAG），大型语言模型能够从外部知识源检索信息，从而回答涉及私有或未见文档的问题。
今天我们分享一个开源项目，它是RAG技术的最新发展，可以大幅提升当前RAG的能力，它就是：GraphRAG
GraphRAG 是什么
GraphRAG是微软开源的一种基于图的检索增强生成 (RAG) 方法，可以对私有或以前未见过的数据集进行问答。
今年早先微软发表GraphRAG论文"From Local to Global: A Graph RAG Approach to Query-Focused Summarization"，论文讨论GraphRAG方法，用于对文本语料库进行问题回答，结合了检索增强生成和图形索引，以提高答案的全面性和多样性，现在对应的开源项目终于来了。
与传统的 RAG 不同，GraphRAG 方法可以归结为：利用大型语言模型 (LLMs) 从您的来源中提取知识图谱；将此图谱聚类成不同粒度级别的相关实体社区；对于 RAG 操作，遍历所有社区以创建“社区答案”，并进行缩减以创建最终答案。
GraphRAG 的工作原理
GraphRAG 的架构主要包含两个核心模块：索引器 (Indexer) 和 查询引擎 (Query Engine)。索引器通过对私有数据进行索引创建由 LLM 派生的知识图谱。查询引擎利用预建索引的 LLM ，创建了一个更优的 RAG 流程。
索引器
索引器负责将非结构化文本数据转化为结构化的知识图谱，并将其存储到数据库中，这些图谱作为 LLM 的记忆表示，可以被后续步骤用于更有效的检索。其主要流程如下：
- 文本切分: 将输入的文本数据按照一定的规则切分成多个文本单元 (Text Unit)，每个文本单元通常包含一个或多个完整的句子。
- 实体和关系抽取: 利用 LLM 从文本单元中抽取实体、关系和关键陈述等信息。例如，从句子 “OpenAI 开发了 ChatGPT” 中，可以抽取出实体 “OpenAI” 和 “ChatGPT”，以及关系 “开发”。
- 知识图谱构建: 将抽取出的实体和关系信息构建成图结构的知识图谱，其中节点代表实体，边代表关系。
- 社区检测: 利用图算法（例如，层次化 Leiden 技术）对知识图谱进行社区检测，将具有相似语义的实体聚集在一起，形成不同的社区。
- 社区概括: 为每个社区生成一个概括性的描述，用于概括该社区的主题和关键信息。
- 向量化: 利用 LLM 将实体、关系、社区概括等信息转化为向量表示，用于后续的语义搜索。
- 存储: 将构建好的知识图谱、社区信息和向量表示等数据存储到数据库中，供查询引擎使用。
查询引擎
查询引擎负责接收用户查询，并在知识图谱中检索相关信息，最终生成答案。其主要流程如下：
- 查询解析: 将用户查询转化为知识图谱上的查询语句。
- 图遍历: 在知识图谱上进行遍历，寻找与查询相关的实体、关系和路径。
- 信息整合: 将检索到的信息进行整合，形成 LLM 生成答案的上下文信息。
- 答案生成: 利用 LLM 根据上下文信息生成最终的答案。
GraphRAG 的核心优势
GraphRAG 之所以能够克服传统 RAG 的局限性，主要得益于以下几个方面的创新：
- 结构化的知识表示: GraphRAG 使用知识图谱来表示信息，将文本数据转化为结构化的图谱形式，其中节点代表实体，边代表实体之间的关系。这种结构化的知识表示方式，使得信息之间的关系更加清晰明确，便于 LLM 进行推理和分析。
- 自动化的知识抽取: GraphRAG 利用 LLM 自动从文本数据中抽取实体、关系和关键陈述等信息，无需人工构建知识图谱，大大降低了知识图谱构建的成本和难度。
- 层次化的信息组织: GraphRAG 使用层次化的社区结构来组织信息，将具有相似语义的实体聚集在一起，形成不同的社区，并生成社区摘要，帮助用户快速了解每个社区的关键信息。这种层次化的信息组织方式，使得 LLM 能够更好地理解信息的上下文和语义关系。
- 灵活的查询方式: GraphRAG 支持全局搜索和本地搜索两种查询模式。全局搜索利用社区摘要推理关于整体性问题，而本地搜索则通过探索邻近概念和相关概念来处理特定实体查询。
- 优越的性能表现: GraphRAG 在处理复杂信息和私有数据集方面表现优于传统的 RAG 方法，尤其是在以下情况下： 连接不同的信息片段。 全面理解大型数据集上的汇总语义概念。 从长文档中滤除噪声。 根据用户上下文和查询中捕获的实体对结果进行过滤和提升。
总结
GraphRAG是一个非常好的想法，通过知识图谱和RAG的组合，可以极大提高当前RAG的性能，但其成功取决于 LLM 首先能够更好地提取关系，同时并非所有数据都是或可以以图形结构展示，这样的考虑会产生什么影响，尚待观察。
如何学习AI大模型？
我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。
我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。
第一阶段： 从大模型系统设计入手，讲解大模型的主要方法；
第二阶段： 在通过大模型提示词工程从Prompts角度入手更好发挥模型的作用；
第三阶段： 大模型平台应用开发借助阿里云PAI平台构建电商领域虚拟试衣系统；
第四阶段： 大模型知识库应用开发以LangChain框架为例，构建物流行业咨询智能问答系统；
第五阶段： 大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型；
第六阶段： 以SD多模态大模型为主，搭建了文生图小程序案例；
第七阶段： 以大模型平台应用与开发为主，通过星火大模型，文心大模型等成熟大模型构建大模型行业应用。
👉学会后的收获：👈
• 基于大模型全栈工程实现（前端、后端、产品经理、设计、数据分析等），通过这门课可获得不同能力；
• 能够利用大模型解决相关实际项目需求： 大数据时代，越来越多的企业和机构需要处理海量数据，利用大模型技术可以更好地处理这些数据，提高数据分析和决策的准确性。因此，掌握大模型应用开发技能，可以让程序员更好地应对实际项目需求；
• 基于大模型和企业数据AI应用开发，实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能， 学会Fine-tuning垂直训练大模型（数据准备、数据蒸馏、大模型部署）一站式掌握；
• 能够完成时下热门大模型垂直领域模型训练能力，提高程序员的编码能力： 大模型应用开发需要掌握机器学习算法、深度学习框架等技术，这些技术的掌握可以提高程序员的编码能力和分析能力，让程序员更加熟练地编写高质量的代码。
1.AI大模型学习路线图
2.100套AI大模型商业化落地方案
3.100集大模型视频教程
4.200本大模型PDF书籍
5.LLM面试题合集
6.AI产品经理资源合集
👉获取方式：
😝有需要的小伙伴，可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓
