Agentic RL 是当前大模型最热门研究方向之一Kimi2.6、GLM-5 等大模型均大量利用 RL 大幅提升 Agent 的规划能力Planning与工具调用能力Tool use这里列举一下我自己实操过的几个项目。Search-R1项目地址https://github.com/PeterGriffinJin/Search-R1项目介绍 将搜索引擎建模为环境的一部分允许 LLM 在生成 token 的同时进行搜索。支持多轮检索和推理通过特殊标记 Token 做语义分割search /search触发搜索information /information存放检索返回内容存放模型推理步骤输出最终答案采用基于结果的奖励函数规避复杂的过程奖励设计。兼容 PPO、GRPO 等主流 RL 算法引入检索 token 掩码retrieved token masking保障训练稳定性仅对 LLM 自身生成 token 计算损失屏蔽检索内容梯度干扰统一训练模板规范模型固定输出格式分为推理、搜索、答案三部分训练框架verlTinyZero项目地址https://github.com/Jiayi-Pan/TinyZero背景DeepSeek R1-Zero 最小复现项目沿用 DeepSeek R1 训练范式R1-Zero 不依赖人类专家 SFT 标注纯依靠强化学习 RL 完成训练验证核心结论部分专业领域场景下 SFT 并非必需模型可通过 RL 自主演化出领域专属推理范式与表达语言训练框架verlReTool项目地址https://github.com/ReTool-RL/ReToolReTool 是工具增强型强化学习框架整体分为两阶段训练冷启动监督微调SFT 交错代码执行 rollout 强化学习先通过数据构建流程产出高质量样本做冷启动 SFT为 RL 提供优质初始化策略数据中标注模型调用 Code Interpreter 的合理时机后续接入工具专用 RL 流程强化模型推理过程中工具选择、调用时机、参数编排能力 采用ORM 基于结果的奖励优化策略网络Policy 模型可在代码沙箱中动态获取 Code Interpreter 执行结果作为后续推理上下文输入。训练目标通过 RL 让 LLM 习得最优 Tool Use 策略提升复杂任务求解能力训练框架verlMulti-Turn-RL-Agent项目地址https://github.com/SiliangZeng/Multi-Turn-RL-Agent核心定位聚焦轮次级别信用分配强化 LLM 智能体多轮长程推理能力执行流程 给定 system prompt 和用户问题LLM 检索智能体迭代流程 1.Agent 先做内部推理分析当前上下文识别缺失关键信息2.构造检索 Query从外部数据库拉取相关信息并将结果并入上下文3.循环迭代推理检索直至判定信息充足最后一轮推理生成最终答案项目价值适合研究多轮对话、复杂任务、长链路规划场景下的 RL 优化训练框架trlDeepResearcher项目地址https://github.com/GAIR-NLP/DeepResearcher项目描述在真实互联网环境中拓展 RL 训练范式训练 LLM 完成深度研究Deep Research任务融合 LLM 与外部网页知识源将 Agentic RL 落地到真实调研、科研场景单样本处理逻辑单个问题进行多轮独立 Rollout每轮隔离独立内存上下文Browser 智能体通过 URL 检索网页逐页解析、提取有效信息完整迭代链路查询构建 → 全网搜索 → 片段检索 → 深度推理 → 网页浏览 → 信息提取 → 答案生成训练框架verl项目价值适合学习深度调研、联网检索、浏览器 Agent 场景的 RL 全流程训练方案学AI大模型的正确顺序千万不要搞错了2026年AI风口已来各行各业的AI渗透肉眼可见超多公司要么转型做AI相关产品要么高薪挖AI技术人才机遇直接摆在眼前有往AI方向发展或者本身有后端编程基础的朋友直接冲AI大模型应用开发转岗超合适就算暂时不打算转岗了解大模型、RAG、Prompt、Agent这些热门概念能上手做简单项目也绝对是求职加分王给大家整理了超全最新的AI大模型应用开发学习清单和资料手把手帮你快速入门学习路线:✅大模型基础认知—大模型核心原理、发展历程、主流模型GPT、文心一言等特点解析✅核心技术模块—RAG检索增强生成、Prompt工程实战、Agent智能体开发逻辑✅开发基础能力—Python进阶、API接口调用、大模型开发框架LangChain等实操✅应用场景开发—智能问答系统、企业知识库、AIGC内容生成工具、行业定制化大模型应用✅项目落地流程—需求拆解、技术选型、模型调优、测试上线、运维迭代✅面试求职冲刺—岗位JD解析、简历AI项目包装、高频面试题汇总、模拟面经以上6大模块看似清晰好上手实则每个部分都有扎实的核心内容需要吃透我把大模型的学习全流程已经整理好了抓住AI时代风口轻松解锁职业新可能希望大家都能把握机遇实现薪资/职业跃迁这份完整版的大模型 AI 学习资料已经上传CSDN朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】