42.llama_index-说明
内容参考于图灵AI大模型全栈langchain去搞Agent了对RAG兼容性太差了可以说没有RAG的功能了这里停止更新langchain接下来开始写新的框架llama_index它好使LLama_index框架api文档地址:https://developers.llamaindex.ai/python/framework-api-reference/官网地址: https://developers.llamaindex.ai/python/framework/getting_started/starter_example/项目地址:https://github.com/run-llama/llama_indexLlamaHub (开源的“插件市场): https://llamahub.ai/llamaIndex最开始的名字叫GPT Index它是目前大语言模型LLM最核心的数据框架之一它解决了RAG问题llamaIndex发展史2022.11 项目启动Jerry Liu 提交首版代码定名 GPT Index核心是树状索引Tree Index用于突破 GPT-3 上下文限制后续补充列表、关键词两类索引结构。2022.12 能力补全新增 Embedding 与向量存储支持接入 Notion、Slack、Google Drive 等首批数据源初步形成完整 RAG 基础链路。2023.01 社区破圈登上 GitHub Trending在开发者群体中快速获得关注度。2023.02 生态起步联合 Jesse Zhang 上线 LlamaHub 插件仓库通过社区活动征集到 50 数据加载器搭建起插件生态雏形。2023.03 品牌与商业化落地同步完成两件大事 —— 一是正式更名 LlamaIndex规避品牌冲突并锚定通用 LLM 数据框架定位同时快速适配 ChatGPT API 与官方插件二是完成 Greylock 领投的 850 万美元种子轮融资联合 Simon Suo 成立公司转向全职商业化运作。2024 能力全面升级从基础向量检索拓展至高级 RAG、多智能体系统、全链路评估体系跻身 RAG 领域主流框架行列。2025 企业级架构重构推出 Workflows 异步流程编排、LlamaParse 高精度文档解析、LlamaAgents 多智能体调度等核心能力战略重心转向 Agentic RAG 与生产级文档自动化。2026 至今 产品矩阵深化持续迭代 LlamaParse v2、LlamaSplit、LlamaSheets 等产品强化多模态解析、企业级部署与生态建设成为生产级 RAG 与智能体应用的核心基础设施。LLamaIndex架构图通过架构图可以看出数据接入层LLamaIndex可以接受本地文件、网页、数据库、api、云存储、第三方工具摄取管道层它还可以文本分割各种格式的文档元数据的提取嵌入模型向量模型把切分好的文本转成向量缓存层把向量数据保存到内存数据库它支持很多数据库Node层在LLamaIndex中切片之后的数据被称为节点Node切片之后的数据分三种 纯文本数据Text、图片数据Image、索引数据index切片之后的结果索引层在存储向量数据时不一股脑全存起来要有一个数据格式比如给向量搞一个分类比如语文向量、数学向量、物理向量它们都单独放一个地方比如找语文向量就去专门存放语文向量的地方找存储层它有向量存储、文档存储、索引或图存储这个是保存到硬盘上持久化检索层检索器、重排器查询引擎层查询引擎把检索的功能封装到一起对话引擎响应合成层比如现在检索出3个文档现在做的事情是3个文档做拼接拼接的时候会存在数据不完整这时让大模型对3个文档分别进行优化然后在进行拼接Agent层智能体这里后面会专门写Workflow层工作流LLM层支持的大模型