GraphRAG 到底在干嘛？——微软这篇博客的深度拆解

原文GraphRAG: Unlocking LLM discovery on narrative private data - Microsoft Research微软 2024 年初发了一篇技术博客核心就一句话传统 RAG 在复杂数据面前不够用GraphRAG 用知识图谱 图聚类补上了这块短板。这不是学术论文更像是一篇技术安利文目标读者是技术决策者和工程师。下面我把它拆开来聊。传统 RAG 到底差在哪GraphRAG 要解决的问题得先从传统 RAG 的痛点说起。文章指出了两个传统 RAG 搞不定的场景串不起来的信息想象你问 AINovorossiya 做了什么传统 RAG 拿着Novorossiya这个词去做向量搜索结果检索回来的 10 个文本片段里没有一个直接提到这个名字——答案散落在不同的文档里靠的是实体之间的间接关联才能拼出来。向量搜索只会找长得像的文本这种需要跳着找的推理它做不了。GraphRAG 就不一样了它在知识图谱里找到 Novorossiya 这个节点然后沿着关系边一路走下去——行动、目标、相关组织——最后把完整答案拼出来。说白了向量检索是局部匹配而真实世界的知识经常是通过实体关系链间接连起来的。回答不了大问题再比如你问这堆数据里排名前 5 的主题是什么传统 RAG 傻眼了——主题这个词太泛了向量搜索不知道该往哪个方向找碰巧匹配到一些包含主题这个词的无关文本答案自然跑偏。这本质上是个粒度问题向量 RAG 的检索单元是文本片段chunk但整体主题这种问题需要对整个数据集有宏观理解任何单个 chunk 都撑不起这个回答。GraphRAG 靠预先建好的社区聚类和社区摘要直接从宏观结构里提取主题轻松搞定。GraphRAG 怎么干的整个流程分两个阶段先离线建索引再在线回答问题。离线建索引三步走原始文档 │ ▼ ┌─────────────────────────────┐ │ Step 1: 实体和关系抽取 │ LLM 逐块处理文档提取所有 │ (Entity Relationship │ 实体人、地、组织等和 │ Extraction) │ 它们之间的关系 └─────────────────────────────┘ │ ▼ ┌─────────────────────────────┐ │ Step 2: 知识图谱构建 │ 将抽取的实体和关系组装成 │ (Knowledge Graph │ 一个完整的图结构 │ Construction) │ └─────────────────────────────┘ │ ▼ ┌─────────────────────────────┐ │ Step 3: 社区检测与摘要 │ 对图进行自底向上的层次聚类 │ (Community Detection │ 如 Leiden 算法为每个 │ Summarization) │ 社区生成 LLM 摘要报告 └─────────────────────────────┘简单说就是先让 LLM 把文档里的人、事、物和它们的关系都挖出来拼成一张大图然后对这张图做分群给每个群写一份摘要。在线回答看问题类型选策略问题类型怎么找答案具体问题如Novorossiya 做了什么在图里定位实体 → 沿关系遍历 → 收集相关文本 → 生成回答宏观问题如前 5 个主题直接用社区摘要 → 逐层聚合 → 生成全局回答几个值得深挖的技术点为什么用 LLM 建图而不是传统 NLP传统做法是用 NER命名实体识别 关系抽取模型但这些模型有硬伤得预先定义好实体类型和关系类型换个领域就不灵了隐含关系更是抓不住。LLM 的优势很明显 -零样本就能干活不用为每个领域单独训练 -能读懂言外之意比如从总检察长办公室报告了 Novorossiya 的创建里抽出政府关注这层隐含关系 -不受 schema 限制实体和关系类型让 LLM 自己发现当然代价也很直接LLM 调用贵索引阶段要处理整个数据集计算开销不小。社区检测——GraphRAG 的杀手锏很多方法都会用知识图谱来增强 RAG但 GraphRAG 真正独特的地方在于社区检测用 Leiden 之类的算法把知识图谱切成多层次的社区你可以理解为话题群组给每个社区预先生成一份 LLM 摘要报告不同层次的社区对应不同的抽象级别回答问题时按需选粒度这就是它能回答大问题的秘密——不用临时遍历整张图直接查预先写好的摘要就行。生成社区报告时LLM 拿到的输入是该社区内实体和关系的 CSV 表Entities 表实体 ID、名称、描述、Relationships 表源、目标、描述、combined_degree、以及可选的 Claims 表。关系按combined_degree降序排列优先塞最重要的token 超了就截断。溯源——每句话都能查到出处GraphRAG 特别强调溯源能力整条证据链是这样的用户查询 → GraphRAG 回答 [数据实体 (ID), 关系 (ID)] → 关系 ID 指向知识图谱中的具体边 → 边关联到原始源文档的具体片段回答 → 图里的实体/关系 → 原始文档一路可追溯。对企业级应用来说这个能力非常关键——你能验证 AI 说的每一句话。实验是怎么做的数据集用的是 VIINA 数据集新闻文章暴力事件信息选得很讲究涉及多方冲突信息碎片化够复杂包含俄乌双方新闻源观点对立有矛盾信息2023 年 6 月的数据确保不在 LLM 训练集里数千篇文章远超上下文窗口不用 RAG 没法处理评估结果用了四个指标来打分指标说的是啥怎么评全面性答案完不完整LLM 评分器成对比较人类赋权有没有给出处让你验证LLM 评分器成对比较多样性有没有多角度回答LLM 评分器成对比较忠实度有没有瞎编SelfCheckGPT 绝对测量结果挺有意思GraphRAG 在前三项上大幅领先传统 RAG但忠实度上两者差不多。也就是说GraphRAG 的提升主要在找得更全而不是编得更少。别光看优点局限也得知道这毕竟是篇安利文自然报喜不报忧。几个需要注意的坑索引成本高——每个文档块都要调 LLM 来抽实体和关系大数据集可能要跑几小时甚至几天用 GPT-4 级别的模型API 费用相当可观。增量更新是个难题——文章压根没提数据变了怎么办。实际上新增文档要重新抽取、合并社区结构可能因此改变得重新聚类、重新生成摘要这在工程上还没有很好的解法。抽取质量看 LLM 脸色——LLM 抽实体和关系不是百分百准的可能漏掉隐含实体、搞错关系不同模型的抽取质量差异也大一致性难保证。查询会慢一些——图遍历 LLM 生成比简单的向量检索 LLM 生成链路更长延迟自然更高。不是所有问题都需要它——文章自己也承认简单的事实性查询比如什么是 Novorossiya传统 RAG 就够用了。GraphRAG 的优势集中在多跳推理和全局总结这两个场景。打个比方帮你建立直觉假设你是公司新人想了解最近三个月最重要的项目进展。传统 RAG 就像翻文件柜你走到档案室用项目进展当关键词去翻。找到几十份文件散落在不同抽屉里——会议纪要、邮件、报告都有。你得自己把碎片拼起来。GraphRAG 就像问一个什么都知道的老同事他不仅读过所有文件还记得张三的 A 项目和李四的 B 项目其实有关联知道上个月的预算调整影响了三个部门。他能直接给你一个有条理的完整回答。传统 RAGGraphRAG工作方式搜关键词找相关段落先建关系网再沿着关系回答擅长的问题X 是什么X 怎么做X 和 Y 有什么关系整体情况是什么类比图书馆管理员帮你找书侦探帮你把线索串成完整故事短板碎片化缺全局视角建关系网需要时间和算力最后划几个重点GraphRAG 解决的不是搜得更准的问题而是搜的维度的问题——从文本相似性扩展到了实体关系和全局结构。知识图谱是手段社区聚类才是真正的创新——很多方法都用图增强 RAG但社区检测 预摘要是 GraphRAG 解决全局查询的独门武器。溯源能力是信任的基础——每个断言都能追溯到原始文档企业级应用离不开这个。代价是索引成本——用 LLM 处理全量数据建图谱比简单向量化贵得多落地时必须权衡。不是替代是互补——复杂推理和全局分析用 GraphRAG简单事实查询用传统 RAG实际系统里两者结合才是正解。