RAG带来的问题

2020 年 5 月诞生了一个在现在看来属于常识的知识。这个知识思路简单但是影响深远。那一年Facebook AI Research现 Meta AI的 Patrick Lewis 等人在 arXiv 上发了一篇论文。核心思路用一句话就能说完让语言模型在生成回答之前先从外部知识库里检索相关文档把检索结果塞进输入里一起处理。真正的贡献不是这个思路本身同期 Google 的 REALM 也在做类似的事而是他们提出了一个通用的端到端框架把检索器和生成器联合训练。这个方法叫做 RAG - Retrieval-Augmented Generation。论文后来发表在 NeurIPS 2020 上。现在 RAG 在 Agent 开发中已经是主流。但在此之前主流做法是把知识直接编码进模型参数里靠预训练让模型“记住”世界知识。Lewis 等人的论文明确指出了一个局限纯参数化模型在知识密集型任务上的表现受限于训练数据的覆盖范围和时效性。通俗说就是模型的知识是有范围有时效性的。训练完成后就不再更新知识了。而 RAG 的思路是把参数化记忆模型本身和非参数化记忆外部可检索的文档库结合起来模型负责语言生成知识库负责提供事实依据。这个分离让知识可以独立更新不用重新训练模型。当用户进行查询时就可以分为三步走用户查询 → [R] Retrieval从外部知识库里捞最相关的文档片段 → [A] Augmented把捞到的内容塞进 prompt指令 查询 上下文一起喂给模型 → [G] GenerationLLM 基于这个 prompt 生成回答R 阶段负责获取信息A 阶段负责扩展信息G 阶段负责模型调用。速度的代价检索系统有个老问题这个问题做过信息检索的工程师都能预见到增加检索环节必然增加延迟。为了保证检索的速度增加的延迟必然要找到其它优化手段在其它地方降下去。第一个也是最容易想到的优化就是**缓存**同样的问题来第二遍直接返回上次的结果不再重新检索和生成。快是快了但要注意缓存的时效性。昨天正确的答案今天可能已经错了。第二个是向量精度嵌入量化。把向量从 float32 压到 int8内存占用直接降到原来的四分之一计算速度的提升则取决于硬件是否支持低精度运算。支持的话加速明显不支持则收益有限。但精度会下降原本能检索到的微小相关性可能就丢了。第三个就是减少“不必要的努力”选择性查询重写和选择性重排序。简单的查询别浪费时间做优化只对复杂查询下功夫。听起来很合理。但这里有一个问题谁来判断一个查询是“简单”还是“复杂”查询难度预测在信息检索领域是一个被研究了二十多年的问题至今没有完全解决。举一个简单的例子如果我的问题是 “今天北京天气怎么样”那么大致会发生几种情况如果知识库里有一篇“2026 年 4 月 25 日北京天气预报”的文档直接匹配很简单。如果知识库里只有“北京历年气候统计”没有今天的数据那这个查询就变难了。系统可能检索到看似相关但实际答非所问的内容。如果用户说的“北京”其实是指北京路广州的一条街那就涉及歧义又是另一种难。查询难度不取决于查询本身取决于查询和知识库之间的关系真正的难度要检索之后才知道。这些优化本质都是同一个 trade-off用准确性换速度。在普通场景下可能够用但在医疗、法律这种容错率接近零的场景每一步的优化都得三思。幻觉问题“幻觉问题”在 2020 年 Lewis 等人提出 RAG 时还不是 LLM 领域的核心议题。当时 RAG 的目标是提升知识密集型 NLP 任务如开放域问答的表现。“幻觉”这个概念当时只是有被提到。“大语言模型会编造事实”这件事开始被大众热议是 ChatGPT 在 2022 年底走红之后的事。RAG 因为架构天然适合缓解幻觉问题所以后来被广泛用于这个方向。LLM 幻觉的根源并不复杂模型只能靠训练时吃进去的数据回答问题数据过时就会编数据不全也会编而且编得特别像真的。RAG 先查一遍外部资料的解法相当于考试时递了一张小抄。幻觉根因LLM 仅靠训练语料静态、可能过时、可能不全 ↓ RAG 干预检索外部知识源 → 塞进 prompt ↓ 效果生成基于真实上下文而非模型记忆 ↓ 结果幻觉概率降低是降低不是消除这个机制在理想条件下效果显著知识库质量高、查询领域匹配时事实性幻觉确实大幅减少。但 RAG 在缓解旧问题的同时引入了新问题检索到错误文档怎么办多个检索结果互相矛盾时模型听谁的模型明明拿到了正确的检索结果却无视它继续编造怎么办RAG 能解决“缺信息”的问题解决不了“缺推理能力”的问题。逻辑错误、算错数这类幻觉你塞再多资料进去也没用。还没覆盖的方向以上覆盖了 RAG 的基本架构、延迟优化和幻觉缓解。但还有几个实际搭建 RAG 系统时的关键问题没有涉及文档怎么切分chunking 策略直接影响检索质量、检索策略怎么选向量、稀疏、混合各有适用场景和局限、怎么衡量系统的好坏faithfulness、relevance 等可量化指标、以及 RAG 在什么情况下反而会让结果变差。0 AI行业迎来前所未有的爆发式增长从DeepSeek百万年薪招聘AI研究员到百度、阿里、腾讯等大厂疯狂布局AI Agent再到国家政策大力扶持数字经济和AI人才培养所有信号都在告诉我们AI的黄金十年真的来了在行业火爆之下AI人才争夺战也日趋白热化其就业前景一片蓝海我给大家准备了一份全套的《AI大模型零基础入门进阶学习资源包》包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。有需要的小伙伴可以V扫描下方二维码免费领取人才缺口巨大人力资源社会保障部有关报告显示据测算当前****我国人工智能人才缺口超过500万****供求比例达1∶10。脉脉最新数据也显示AI新发岗位量较去年初暴增29倍超1000家AI企业释放7.2万岗位……单拿今年的秋招来说各互联网大厂释放出来的招聘信息中我们就能感受到AI浪潮比如百度90%的技术岗都与AI相关就业薪资超高在旺盛的市场需求下AI岗位不仅招聘量大薪资待遇更是“一骑绝尘”。企业为抢AI核心人才薪资给的非常慷慨过去一年懂AI的人才普遍涨薪40%脉脉高聘发布的《2025年度人才迁徙报告》显示在2025年1月-10月的高薪岗位Top20排行中AI相关岗位占了绝大多数并且平均薪资月薪都超过6w在去年的秋招中小红书给算法相关岗位的薪资为50k起字节开出228万元的超高年薪据《2025年秋季校园招聘白皮书》AI算法类平均年薪达36.9万遥遥领先其他行业总结来说当前人工智能岗位需求多薪资高前景好。在职场里选对赛道就能赢在起跑线。抓住AI风口轻松实现高薪就业但现实却是仍有很多同学不知道如何抓住AI机遇会遇到很多就业难题比如❌ 技术过时只会CRUD的开发者在AI浪潮中沦为“职场裸奔者”❌ 薪资停滞初级岗位内卷到白菜价传统开发3年经验薪资涨幅不足15%❌ 转型无门想学AI却找不到系统路径83%自学党中途放弃。他们的就业难题解决问题的关键在于不仅要选对赛道更要跟对老师我给大家准备了一份全套的《AI大模型零基础入门进阶学习资源包》包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。有需要的小伙伴可以V扫描下方二维码免费领取