一、研究问题当前前沿语言模型被部署为智能体Agent时领域适应不仅需要调整模型权重或提示词还需要改进智能体的执行过程如工具调用、格式规范、失败处理等。技能Skill作为一种可移植的自然语言文档为这种过程适应提供了理想接口。然而现有技能的生成方式存在明显缺陷手工编写耗时、脆弱、难以泛化一次性生成无法根据反馈迭代改进松散控制的自我修正不稳定可能越改越差核心问题技能文档本身能否像深度学习中的权重一样被系统化、可控地优化二、核心方法SKILLOPTSKILLOPT 是一个文本空间优化器它将技能文档视为冻结智能体的可训练外部状态通过一个独立的优化器模型对其进行有界、受控的编辑。关键设计类比深度学习深度学习概念SKILLOPT 对应机制训练批次执行轨迹批次Rollout Batch小批量梯度下降反思小批次Reflection Minibatch学习率文本编辑预算最多编辑数学习率调度编辑预算随周期衰减验证集留出选择集Held-out Selection Split动量Momentum回合级慢速/元更新负反馈被拒绝编辑缓冲区优化流程图1执行目标模型使用当前技能在训练任务上生成轨迹和得分分析优化器模型分别分析成功和失败案例提出编辑生成结构化的添加/删除/替换编辑合并与排序在编辑预算限制下聚合和筛选编辑验证门控候选技能仅在严格提升选择集得分时被接受慢速/元更新周期结束时跨周期总结长期教训关键机制详解有界编辑预算限制每次更新的编辑数量防止技能剧烈漂移验证门控拒绝任何不改进验证性能的编辑这是稳定性的关键被拒绝编辑缓冲区将失败编辑转化为负面反馈防止重复错误慢速/元更新受保护区域存储跨周期总结提供长期稳定性三、实验设置基准6个SearchQA问答SpreadsheetBench电子表格操作OfficeQA文档推理DocVQA多模态文档问答LiveMathematicianBench数学推理ALFWorld具身决策目标模型7个GPT-5.5、GPT-5.4、GPT-5.4-mini、GPT-5.4-nano、GPT-5.2、Qwen3.5-4B、Qwen3.6-35B-A3B执行框架3种直接聊天、Codex、Claude Code对比基线7类无技能、人类技能、一次性LLM技能、Trace2Skill、TextGrad、GEPA、EvoSkill四、主要结果1. 全面领先表152/52个模型、基准、框架评估单元中SKILLOPT 表现最佳或持平GPT-5.5 平均提升直接聊天23.5点Codex24.8点Claude Code19.1点优于最强单元基线平均5.4点2. 跨模型规模有效从 GPT-5.5 到 Qwen3.5-4B所有模型均受益小模型相对增益更大如 GPT-5.4-nano 在 ALFWorld 上×2.03. 跨迁移有效表4跨模型GPT-5.4 训练的技能迁移到更小模型仍保持正增益跨框架Codex 训练的技能迁移到 Claude Code 获得59.7点增益跨基准OlympiadBench → Omni-MATH 在所有模型上均为正迁移五、消融与分析发现组件重要性关键发现有界学习率高无预算时性能显著下降验证门控高防止有害编辑累积被拒绝缓冲区中高移除后下降 1.6-4.6 点慢速/元更新最高移除后 SpreadsheetBench 下降 22.5 点批次大小低结果对批次大小不敏感学习率调度低恒常、余弦、线性均有效优化器强度表5强优化器GPT-5.5产生更大增益但目标匹配优化器仍可恢复56-74%的增益证明优化循环本身贡献显著。六、学习技能的特征表6图4特征数值最终技能长度300-2,000词元接受编辑次数1-4次训练成本0.6M–46.4M 词元/点代表性学习规则图4SearchQA推断预期答案类型选择最短的规范实体SpreadsheetBench检查工作簿结构写入评估后的静态值OfficeQA以解析页面为证据精确输出请求的舍入值ALFWorld维护已访问/前沿账本避免重复访问定性观察规则是过程性的而非实例特定的编码了前沿模型零样本所缺乏的纪律性。七、核心贡献总结问题形式化首次将智能体技能学习定义为外部自然语言状态上的优化问题系统化方法引入带深度学习风格调控批次、学习率、验证、动量的文本优化器广泛验证52个单元全面领先跨6个基准、7个模型、3个框架实用价值技能工件紧凑2000词元、可解释、可迁移、无需权重更新即可部署设计验证通过系统消融证明各组件特别是门控、慢速更新、有界编辑的必要性八、局限性依赖可自动验证的任务得分轨迹训练成本高但一次性投入、可重复使用单个技能可能不足以应对高度异构领域迁移前需谨慎评估目标分布偏移SKILLOPT 首次将技能文档的系统化训练变为现实通过借鉴深度学习的训练范式批次、学习率、验证、动量使紧凑的自然语言技能成为可优化、可验证、可迁移的智能体适应层在52个评估配置上全面超越现有方法。这里是自己的论文阅读记录感兴趣的话可以参考一下如果需要阅读原文的话可以看这里如下所示项目地址在这里如下所示如今的智能体技能agent skills要么是手工打造的要么是一次性生成的要么是通过控制松散的自我修正过程演化而来的——这些方式都不像用于技能的深度学习优化器也没有一种能够在反馈下可靠地超越其初始状态。我们认为技能应该像冻结智能体的外部状态那样被训练其严谨程度应使权重空间优化的可复现性成为可能。据我们所知SKILLOPT 是第一个系统化的、可控的智能体技能文本空间优化器一个独立的优化器模型将带评分的执行轨迹scored rollouts转化为对单个技能文档的有界bounded添加/删除/替换编辑并且只有当编辑在留出验证集held-out validation score上带来严格提升时该编辑才会被接受。文本形式的学习率预算、被拒绝编辑的缓冲区以及回合epoch层面的慢速/元更新slow/meta update使得技能训练保持稳定同时在部署时不增加任何推理时模型调用。在六个基准测试、七个目标模型和三种执行框架直接聊天、Codex、Claude Code上SKILLOPT 在所有 52 个评估的模型、基准、框架单元上表现最佳或持平并且击败了每个单元中的竞争对手这些对手包括人类编写的、一次性 LLM 生成的、Trace2Skill、TextGrad、GEPA 和 EvoSkill 生成的技能。在 GPT-5.5 上它将无技能情况下的平均准确率在直接聊天中提升了 23.5 个百分点在 Codex 智能体循环中提升了 24.8 个百分点在 Claude Code 中提升了 19.1 个百分点。迁移实验进一步表明优化后的技能工件在跨模型规模、在 Codex 和 Claude Code 执行环境之间迁移以及迁移到邻近的数学基准无需进一步优化时仍然保持其价值。1 引言前沿语言模型越来越多地被部署为智能体从单次提示调用者到带有工具、文件和验证器的多步骤执行框架 [1-4]。在此类设置中领域适应不再仅仅关乎模型权重或提示词它还需要改进智能体收集证据、调用工具、遵循领域约定以及格式化输出的过程 [5, 6]。智能体技能为此类过程适应提供了一个自然接口 [7, 8]技能是一个可移植的自然语言工件封装了过程、领域启发式、工具策略、输出约束和失败模式使冻结的智能体能够通过外部文本来适应。如果适应的重复对象是智能体的过程那么技能文档本身应该是可训练的。然而对于封闭的前沿模型权重适应通常是不可用的并且对于开放模型来说则成本高昂而手动编写或一次性生成的技能在目标领域或框架下很脆弱。最近的一些系统将执行经验转化为可重用的文本工件——通过轨迹教训提取、基于失败分析的技能文件夹优化、构建领域特定的技能库或根据轨迹反馈优化提示 [9-13]——但留下了一个更基本的问题如果技能是适应层它们应该如何被优化我们的核心思想是将技能编辑视为一个可控的领域适应过程其中技能文档作为外部状态一个额外的前沿模型作为优化器并对证据、步长、验证和更新方向施加类似于训练的调控。我们提出了 SKILLOPT一个用于智能体技能的文本空间优化器。给定一个目标领域、一个初始技能以及被适应的模型SKILLOPT 反复采样轨迹批次分析成功与失败案例并要求一个前沿优化器模型提出结构化的添加/删除/替换编辑。然后在文本学习率预算下聚合和排序候选编辑对技能文档应用有界更新并在接受之前在留出选择集上评估候选技能。被拒绝的编辑作为负面反馈被保留而回合层面的慢速/元更新则保留了更长周期的规律性。图 1 给出了此循环的示意性概览。部署的输出是一个紧凑的 best_skill.md 文件大约包含 300-2000 个词元而被适应的模型和执行框架保持不变。深度学习的类比是操作性的而非装饰性的。执行轨迹和反思的批次大小控制了用于每次编辑的证据中的噪声文本学习率和调度控制了技能版本允许从前一个版本移动的幅度留出门控扮演了验证集validation的角色而回合层面的慢速/元更新则类似于动量项momentum term在回合间传递稳定的编辑方向。这种稳定性至关重要如果连续的技能修订变动过大或方向不一致被拒绝的编辑和先前被接受的编辑将不再能提供有意义的优化历史。通过有界的、经过验证门控的更新每次修订都保持与上一次足够接近以便后续的优化器调用能够从中学习哪些是有帮助的、哪些是失败的以及哪些应该被保留。图 1 SKILLOPT 概览。目标模型使用当前技能执行任务一个额外的前沿优化器模型将轨迹转换为有界的添加/删除/替换技能编辑而留出门控仅接受那些能提升验证集性能的编辑。被接受的编辑被导出为可重用的技能工件而被拒绝的编辑则成为后续更新的负面反馈。据我们所知我们首次对作为前沿智能体领域适应训练方法的技能优化进行了系统性研究。我们在六个涵盖问答、电子表格、文档、数学和具身决策的基准测试上评估 SKILLOPT跨越从前沿规模的 GPT 到小规模的 Qwen 的七个目标模型并在三种执行模式直接聊天、Codex 框架、Claude Code 框架下进行。在 52 个评估的模型、基准、框架单元中SKILLOPT 在所有 52 个单元上都是最佳或并列最佳的测量方法。在 GPT-5.5 的直接聊天模式下它将 SearchQA 从 77.7 提升到 87.3SpreadsheetBench 从 41.8 提升到 80.7OfficeQA 从 33.1 提升到 72.1DocVQA 从 78.8 提升到 91.2LiveMathematicianBench 从 37.6 提升到 66.9ALFWorld 从 83.6 提升到 95.5较无技能平均提升 23.5 个百分点并且平均优于从人类编写、一次性 LLM 生成、Trace2Skill、TextGrad、GEPA 和 EvoSkill 技能中选出的最强单元基线 5.4 个百分点。相同的优化接口在 Codex 风格和 Claude Code 风格的执行循环中也同样有效分别将 GPT-5.5 较无技能提升了 24.8 和 19.1 个百分点并分别优于 EvoSkill 14.0 和 3.2 个百分点。学习到的工件也能迁移到精确的训练设置之外。在 GPT-5.4 上训练的 SpreadsheetBench 技能能提升我们测试的所有较小 GPT 变体的性能在 Codex 上训练的电子表格技能迁移到 Claude Code 时获得了 59.7 个百分点的提升而在 OlympiadBench 上训练的技能在 Omni-MATH [14] 上产生了正向收益。这些迁移结果对于本文的应用价值很重要一个技能可以被优化一次作为文本进行审计并在不改变模型权重的情况下跨相关模型、框架或任务重用。我们的消融实验解释了其有效的原因。有界的文本学习优于不受控制的重写留出门控防止了有害提议的累积被拒绝步骤的缓冲区将失败的编辑转化为负面反馈而回合层面的慢速/元更新改善了长期优化且不会使部署的技能变得臃肿。最后每个基准的案例研究表明学习到的技能保持紧凑仅经过 1-4 次接受编辑后为 300-2000 词元、可检查且是过程性的而非实例特定的。我们的贡献如下我们形式化了将智能体技能学习视为外部自然语言状态上的优化问题并引入了 SKILLOPT这是一个与框架无关的优化器具有执行批次、反思小批次、添加/删除/替换编辑、文本学习率、调度、留出接受机制、被拒绝编辑缓冲区和回合层面的慢速/元更新。我们在六个基准测试、七个目标模型和三个执行框架上进行了广泛的实证研究表明 SKILLOPT 在 52 个单元中的 52 个上表现最佳或持平并且在每个模型下都优于无技能、人类技能、一次性 LLM 技能、提示优化TextGrad、GEPA和技能演化Trace2Skill、EvoSkill基线。我们通过组件消融实验和三种形式的迁移跨模型、跨框架、跨基准验证了优化设计的有效性表明导出的技能工件是紧凑、可重用且无需模型权重更新即可部署的。2 相关工作提示自动调整与智能体配置搜索。GEPA 证明了轨迹反馈可以引导反思性提示演化并在若干语言智能体任务上优于强化学习 [13]。ABSTRACT 和 EvoTest 将此思想从单个提示扩展到多智能体设计文档和测试时智能体系统演化无需梯度或微调 [15, 16]。通过将语言工件视为可优化的对象这些方法可以直接利用执行反馈但它们主要针对提示、系统设计或完整配置而非可重用的领域适应。SKILLOPT 则优化一个持久的技能文档该文档可以被训练、验证、导出并与被适应的模型一起重用将语言层面的可控性应用于稳定的过程性技能状态。技能构建与技能演化。SkillsBench 和关于智能体技能的 SoK 将技能视为可重用的过程性知识涵盖工具策略、适用条件、执行例程和支持资源 [7, 8]。先前的系统从终身经验、轨迹教训、技能知识库或异构领域资源中构建此类技能 [9, 12, 17-19]并通过失败分析、创建-评估-修订循环、协同演化生成器和验证器、集体更新或强化学习进一步细化它们 [10, 11, 20-26]。虽然这些工作强调技能发现、仓库增长、共享、演化搜索或策略优化但 SKILLOPT 研究了一个更狭窄的问题如何利用深度学习风格的调控如轨迹批次、反思小批次、文本学习率、验证门控、被拒绝编辑缓冲区和慢速/元更新来训练一个紧凑的领域技能。这产生了一个受控且可审计的过程用于生成可移植的 best_skill.md而无需更改模型权重。图 2 SKILLOPT 的流程。一个冻结的目标模型使用当前技能执行一个执行批次一个优化器模型在成功和失败案例上进行小批次反思提出有界的添加/删除/替换编辑在调度编辑预算下合并和排序这些编辑并仅通过一个留出验证门控来接受候选技能。在各个回合间慢速/元更新保留了更长期的教训而不改变目标模型。3 方法3.1 问题设置3.2 前向传播执行证据收集在每个优化步骤中目标模型使用当前技能在来自 Dtr​ 的一个执行批次上运行。框架记录任务元数据、消息、工具调用、观察结果、命令输出、最终答案、验证器反馈以及基准特定的上下文如电子表格预览、文档引用或紧凑的执行轨迹。该批次是证据单元小批次更新快速但噪声较大而较大的批次则在技能发生变化之前暴露出更多重复出现的模式。实现还支持累积模式即多个执行批次被分别进行反思然后合并为一次更新从而将执行吞吐量与更新频率解耦。3.3 反向传播小批次反思优化器模型将轨迹转化为技能编辑遵循轨迹驱动反思和提示演化的更广泛思路 [13, 27, 28]。它首先将失败案例与成功案例分开并将每个组划分为反思小批次。这一点很重要因为单个轨迹往往产生零散的修正而小批次则能暴露出可重用的过程性错误智能体持续搜索错误的来源、以错误的格式写出答案或未能验证工具结果。失败小批次提出缺失的或纠正性的规则成功小批次则保留已经起效的行为。每次反思返回结构化的添加/删除/替换编辑或在重写模式下返回一小组重写建议。局部提议通过分层合并进行整合首先分别合并失败驱动和成功驱动的编辑然后以失败修正为优先级将它们组合起来。此步骤在优化器选择最终的有界更新之前过滤掉重复的、矛盾的以及针对特定示例的建议。3.4 有界文本更新SKILLOPT 中的学习率模拟量是编辑预算 Lt​即在步骤 tt 应用的最大技能编辑数量。在聚合之后优化器模型根据预期效用对合并后的编辑池进行排序并将其截断为排名前 Lt​ 的编辑。这是与即兴提示重写的关键区别。无限制的重写可能抹除有用的规则、引入不兼容的指令或过拟合于局部失败而有界更新则保持了连续性同时仍允许技能获取新的过程。SKILLOPT 支持恒定、线性、余弦和自主调度。默认的余弦调度从较大编辑开始逐渐衰减到较小的整合步骤。选定的编辑生成一个候选技能。在补丁模式下编辑是局部操作如追加、插入、替换和删除在重写模式下选定的建议用于条件化地完整重写技能。步骤级编辑不能覆盖受保护的慢速更新字段因此快速的局部更改和较慢的回合级整合始终保持分离。3.5 验证门控与被拒绝编辑缓冲区每个候选技能都在 Dsel​ 上使用相同的冻结目标模型和框架进行评估。如果它提高了当前的选择集得分它就成为新的当前技能如果它也超过了迄今为止的最佳得分它就成为 best_skill.md。否则它被拒绝。这个门控将反思转化为“提出-并-测试”的优化而非无条件的自我编辑这一点至关重要因为看似合理的文本诊断仍可能损害实际的目标模型。被拒绝的更新仍然有用。优化器记录一个回合内epoch-local的缓冲区其中包含观察到的失败模式以及对于被拒绝的步骤尝试过的编辑及其导致的得分下降。同一回合后续的反思调用会收到此缓冲区因此优化器模型可以避免重复失败的编辑并专注于未解决的失败。这在训练期间为循环提供了负面反馈而不增加推理时成本。3.6 回合层面的慢速/元更新快速更新从当前批次中学习回合层面的慢速/元更新从相邻的回合中学习。在一个回合结束时SKILLOPT 在前一回合的技能和当前技能下对相同的训练项目进行采样然后将它们分组为改进、退化、持续失败和稳定成功。优化器模型将一个简洁的纵向指导块写入一个受保护的慢速更新字段并且这个候选者仍然会通过验证门控。因此慢速更新捕捉了持久的领域教训同时保持了与步骤级编辑相同的安全检查。元技能meta skill仅在优化器端使用。它总结了哪些编辑模式有所帮助哪些被拒绝以及哪些失败在回合间持续存在。此元指导被前置到未来优化器的反思、合并和排序提示中但它不会与目标模型一起分发。其优势在于关注点分离部署的技能保持紧凑和可移植而训练则受益于编辑过程的更丰富记录。3.7 与框架无关的部署SKILLOPT 通过一个轻量级适配器接口实现与框架无关这与智能体嵌入工具使用和软件执行环境的更广泛趋势相符 [1, 2, 4]。适配器构建训练/评估批次将当前技能注入智能体上下文运行本地框架并返回带评分的轨迹。因此同一个优化器适用于直接问答、电子表格执行、文档推理、多模态问答、具身环境以及 Codex 风格或 Claude Code 风格的执行循环。这是将技能视为适应层的主要实际优势一个更强的优化器模型可以离线训练一个可重用的技能工件然后生成的 best_skill.md 可以跨目标模型、框架和邻近基准进行部署或测试而无需更改模型权重。4 实验我们将 SKILLOPT 评估为冻结智能体的文本空间优化器目标模型使用当前技能执行每个任务而离线优化器则根据执行证据编辑该技能。实验回答四个问题。i优化后的技能是否优于无技能、人类技能、一次性 LLM 技能、提示优化TextGrad、GEPA和技能演化Trace2Skill、EvoSkill基线ii相同的循环是否适用于直接聊天、Codex 和 Claude Code 框架以及从前沿 GPT 到小型 Qwen 的七个目标模型iii哪些优化器控制机制是重要的iv学习到的技能是什么样的成本如何设置。我们在 SearchQA [29]、SpreadsheetBench [30]、OfficeQA [31]、DocVQA [32]、LiveMathematicianBench [33]表格中缩写为 LiveMath和 ALFWorld [34] 的留出测试集上报告每个基准的原生困难得分或精确匹配准确率使用两个模型系列表 1 留出测试集上的主要结果。分数为百分比在每个模型-框架块内粗体标记每个基准的最佳测量条目下划线标记次佳条目。蓝色单元格表示 SKILLOPT小的绿色/红色下标显示相对于同一框架中同一模型的“无技能”行的绝对变化。我们在 Codex 和 Claude Code 框架下省略了 ALFWorld因为 ALFWorld 需要持续的具身环境交互。SKILLOPT 在表格的每个测量单元上都是最佳或持平的条目并且相对于无技能基线在所有情况下都有正向增益。表 2 文本优化器的超参数分析。每个面板从默认设置更改一个标量或调度因素除非另有说明。面板 (a) 将分割比例固定为 4:1:5 的训练/选择/测试1 个示例、20%、40% 和 80% 行使用训练分区的子集而 100% 行复用了已完成 4:1:5 分割比例运行的设置。面板 (b) 扫描反思小批次大小 Bm​面板 (c) 扫描执行批次大小 B表 3 学习率形式、被拒绝缓冲区和回合制慢速/元更新的组件消融实验。浅蓝色行标记了每个组件组内的默认设置学习率组使用默认的 lr4 设置。粗体值标记该组和基准内的最佳测量结果。“无被拒绝缓冲区”行使用了匹配的无缓冲区消融设置。表 4 优化技能在三个轴上的迁移。(a) 跨模型为源模型优化的技能部署到目标模型上。(b) 跨框架在源框架内训练的技能在目标框架内进行评估均在 GPT-5.5 上进行。(c) 跨基准源基准技能在三个目标模型上对目标基准进行评估。基线是目标的无技能得分直接Direct是领域内的 SKILLOPT 得分迁移Transferred则是在不进一步优化的情况下应用源技能。下标显示相对于目标基线的变化。在 (a) 中GPT-5.4 → GPT-5.4 的迁移单元格标记为 -因为源和目标匹配即没有发生迁移我们在这些行中仍报告 GPT-5.4 基线和领域内 SKILLOPT 得分取自表 1以供参考。(a)-(c) 中所有剩余行均为正向迁移没有一行低于目标的无技能基线。框架。直接聊天通过单次聊天补全调用目标模型并将技能前置到系统提示中。Codex 框架在工作区写入沙盒中通过 codex CLI 驱动目标 [38]SKILLOPT 将当前技能渲染为每个任务目录中的 SKILL.md 文件与任务文件并列并读回一个紧凑的执行轨迹codex_trace_summary.txt该轨迹被包含在教师反思上下文中因此优化器能够学习智能体的实际操作而不仅仅是其最终答案。Claude Code 框架通过 claude CLI [39] 镜像相同的工作区合约。所有三种模式都使用相同的 best_skill.md 文件格式这正是第 4.3 节中跨框架迁移实验的基础。基线。我们对比了七个基线涵盖了无适应、手工编写、一次性生成和学习型家族无技能使用基准默认系统提示运行冻结目标模型、人类技能为每个基准精心编写的技能文档、一次性 LLM 技能由 GPT-5.5 根据高级任务描述生成且从未更新的单一技能、Trace2Skill [9]轨迹级技能蒸馏、TextGrad [40]梯度风格的自然语言提示优化、GEPA [13]帕累托反思性提示演化以及框架侧竞争对手 EvoSkill [10]基于失败分析的技能文件夹演化。所有基线使用相同的目标模型、相同的留出测试集和相同的评分器因此比较隔离了适应过程的选择而非提示模板或评分流程等次要因素。4.1 主要结果表 1 是主要结果矩阵。将每个目标模型、基准、框架单元计为一个比较将无技能、人类技能、LLM 技能、Trace2Skill、TextGrad、GEPA 和 EvoSkill 基线中最强的作为单元竞争者SKILLOPT 在 52 个评估单元中的 52 个上赢或平了最佳测量结果。这种优势在模型规模上是统一的在直接聊天中SKILLOPT 在 GPT-5.5、GPT-5.4、GPT-5.4-mini、GPT-5.4-nano、GPT-5.2、Qwen3.5-4B 和 Qwen3.6-35B-A3B 的每个基准上都是最佳并且在 GPT-5.5 的 Codex 和 Claude Code 框架下也是如此。对于一种无需权重更新的方法来说提升的幅度也异常之大。在 GPT-5.5 直接聊天中六个基准的平均值从 58.8无技能上升到 82.3SKILLOPT绝对提升了 23.5 个百分点而每个单元的最佳基线平均仅为 76.9使 SKILLOPT 比每个单元从六种竞争方法中选出的最佳方法的预言机基线oracle baseline高出 5.4 个百分点。每个基准相对于无技能的增量范围从 SearchQA 的 9.6无技能模型在此已达到接近上限到 SpreadsheetBench 的 38.9 和 OfficeQA 的 39.0在这些基准中严格的过程和答案格式要求暴露了零样本前沿模型的局限性。过程性基准的改进最大GPT-5.5 上的 SpreadsheetBench 从 41.8 到 80.7OfficeQA 从 33.1 到 72.1LiveMathematicianBench 从 37.6 到 66.9Qwen3.5-4B 上的 SpreadsheetBench 从 9.3 到 23.9提高了 2.6 倍GPT-5.4-nano 上的 ALFWorld 从 34.3 到 69.4提高了 2.0 倍。这种改进并非前沿规模目标所独有。在六个基准上平均SKILLOPT 将 GPT-5.4 提升了 12.7 个百分点GPT-5.4-mini 提升了 15.4GPT-5.4-nano 提升了 26.7GPT-5.2 提升了 16.6Qwen3.5-4B 提升了 19.2Qwen3.6-35B-A3B 提升了 9.1每个模型平均提升约 17.6 个百分点。较小和较弱的目标模型在相对意义上受益最大例如GPT-5.4-nano 在 DocVQA 上几乎翻倍在 ALFWorld 上提高了三倍这与紧凑的技能工件可以提供小型模型权重中尚未包含的过程性知识的观点一致。相同的优化接口在基于工具的执行中也同样有效。在 Codex 框架上SKILLOPT 在 GPT-5.5 的所有五个评估基准上都是最佳平均增益比无技能高 24.8 个百分点比次佳基线EvoSkill高 14.0。在 Claude Code 框架上它在 GPT-5.5 的所有五个基准上都是最佳平均增益比无技能高 19.1比 EvoSkill 高 3.2而 EvoSkill 本身已经将五个基准的平均值从 57.8 提升到 73.7。框架行下的两个 ALFWorld 单元留空因为 ALFWorld 需要持续的具身环境交互这在标准的 Codex/Claude Code 适配器中并未体现因此我们在搜索、电子表格、文档问答、多模态问答和数学方面报告框架结果。综上所述该表格支持一个强有力的实证主张在直接聊天和两个工具执行框架中跨七个目标模型以及在过程性和事实性基准上使用有界文本空间训练优化单个紧凑技能工件是我们所考虑基线中最强的无需权重更新的适应策略。主要增益来自反馈驱动的技能编辑而非更好的单次提示人类和 LLM 技能在先前指令恰好与基准匹配时可能有所帮助但它们无法在观察到执行结果后纠正失败Trace2Skill 挖掘轨迹教训但没有留出门控TextGrad 和 GEPA 优化提示但不优化持久的技能工件而 EvoSkill作为最强的框架侧竞争者缺乏有界文本学习率和被拒绝编辑记忆。这些比较支持核心设计选择——保持目标模型、框架和评估器固定仅优化可重用的技能工件。替代解释。每个单元的基线阐明了增益的驱动因素。效果不仅仅是提示长度人类技能已有 145-516 个词元长且通常超过一次性 LLM 技能但在每个直接聊天模型行中都被打败而学习到的工件保持紧凑表 6。这也不仅仅是优化器能力SKILLOPT 即使对于 GPT-5.4-nano 也领先于所有基线并且表 5 中的优化器强度分析表明与目标匹配的优化器可以恢复大部分增益。最后框架结果表明该方法不仅仅利用了一种技能格式EvoSkill 已经将 Codex SpreadsheetBench 单元从 27.5 提高到 67.5但 SKILLOPT 又增加了 17.5 个百分点从 67.5 到 85.0。在过程性基准上增益最大可重用的工具使用和输出格式规则最为重要但在事实性和多模态基准上也出现了增益。关键数据汇总。为方便起见表 1 的关键汇总数据为(i) 52/52 个单元表现最佳或持平(ii) 七个直接聊天目标模型的平均每个模型提升约 17.6 个百分点(iii) GPT-5.5 相对于无技能的平均提升为 23.5直接聊天、24.8Codex、19.1Claude Code(iv) GPT-5.5 相对于预言机基线的差距为 5.4 个百分点直接聊天计算为 SKILLOPT 的六个基准平均值82.3与每个单元从六种竞争方法中选出的最佳方法的预言机平均值76.9之差。本节其余部分将深入探讨这些增益为何出现第 4.2 节、其稳定性和可迁移性第 4.3 节以及学习到的工件是什么样的第 4.4 节。4.2 消融实验表 2、图 3 和表 3 使用 GPT-5.5 同时作为目标和优化器测试了优化器中的设计选择。总体信息是 SKILLOPT 受益于充足的证据、有界的文本学习率、被拒绝编辑的反馈以及回合层面的慢速/元更新。SearchQA 的提升空间有限因此在许多设置下保持稳定大部分单元波动在 ±1.5 个百分点以内而 SpreadsheetBench 和 LiveMathematicianBench 则暴露了学习有用过程与过度编辑技能之间的权衡。证据与批次大小面板 a, b, c。面板 (a) 显示过程性基准奖励更多的训练证据当优化器看到 1% 到 100% 的训练分区时SpreadsheetBench 从 47.5 攀升到 78.0LiveMathematicianBench 从 59.1 攀升到 70.5而 SearchQA 在 20% 后大致饱和在 84-86。面板 (b) 在另一个方向上显示了相同的稳健性将反思小批次大小从 1 变化到 32SearchQA 保持在 85.9 - 87.1 之间SpreadsheetBench 保持在 75.4 - 77.9 之间默认的 Bm8 在所有三个基准上都处于或接近顶部。面板 (c) 在执行批次大小维度上同样平稳——从 B8 到完整批次SearchQA 保持在 85.1 - 87.2 之间SpreadsheetBench 保持在 75.0 - 77.5 之间。综上所述这意味着主要的增益并非来自于脆弱的提示搜索批次大小而是来自于每次更新拥有足够多的带评分证据的真实效果。文本学习率与调度面板 d, e。面板 (d) 和 (e) 直接将有界文本学习与较宽松的设置进行比较。扫描 Lt∈{1,2,4,8,16} 显示小型或中等的编辑预算在整个过程中都具有竞争力Lt4 达到 86.5 / 78.2 / 56.5LiveMath 的最高分属于 Lt8 的 66.9而所有五种设置中的最低分在 SearchQA 上仍有 85.5。面板 (e) 在调度轴上证实了这一点恒定衰减得分为 87.3 / 80.7 / 62.1余弦为 87.1 / 77.5 / 61.3线性为 87.2 / 72.9 / 62.9因此有界更新的结论并不依赖于某个特定的调度器。定性的主张才是关键任何适度的、有界的编辑预算都已经击败了没有预算就重写技能的基线表 3“无 lr”行84.6 / 75.7 / 57.3。回合制慢速/元更新面板 f, 表 3, 图 3。慢速/元更新提供了超越当前执行批次的更长期指导。慢速更新采样面板 f将默认值设为每个周期 20 个示例87.1, 77.5, 61.3而 5、10 和 40 个示例每个都在 ±2.7 个百分点以内。在匹配的默认组件行中移除被拒绝编辑缓冲区使 SearchQA、SpreadsheetBench 和 LiveMath 的得分分别降低了 1.6、4.6 和 2.4 个百分点支持其作为默认循环稳定器而非额外部署时机制的作用。慢速/元消融行更为明显同时移除元技能和慢速更新使 SpreadsheetBench 从 77.5 降至 55.0-22.5 个百分点这是消融套件中最大的退化。图 3 补充了这些数值消融验证检查点在各周期内跟踪留出测试性能确认了门控倾向于选择能够泛化的技能而非仅适合选择集的技能。门控严格性与编辑可观测性。验证门控是故意严格的只有当候选技能的选择集得分严格高于当前选择集得分时才被接受因此平局被拒绝部署的技能不会悄然漂移。这个保守的标准使得被拒绝的编辑成为有信息量的负面反馈而非隐藏状态。在操作上每一步还会记录一个 edit_apply_report.json 文件其中包含每个编辑的接受/跳过状态因此对 best_skill.md 的每次更改来源在事后都是可追溯的。回合层面的慢速/元更新写入技能文档中一个由标记保护的区域步骤级编辑无法覆盖该区域从而将快速的回合内更新与较慢的跨回合整合分开优化器侧的元技能仅存在于教师的反思上下文中不会与部署的工件一起分发。这些实现选择解释了为什么同时移除元技能和慢速更新在 SpreadsheetBench 上尤其有害它移除了长期证据流以及保护本地编辑不覆盖持久过程性教训的受保护区域合约。总的来说消融实验表明增益对精确的执行批次、反思小批次或学习率调度相对不敏感但对有界文本空间学习、验证门控、被拒绝编辑反馈和回合制慢速/元更新的存在这些使技能编辑表现得像受控训练循环的设计选择要敏感得多。4.3 分析与迁移表 4 探讨了优化后的技能是否表现得像一个可重用的工件而非任务特定的提示。我们测试了三种转变跨模型规模部署技能表 4跨执行框架迁移技能表 4以及将其应用于邻近的数学基准包括 OlympiadBench [41] 和 Omni-MATH [14]表 4。表 5 则通过将前沿优化器替换为与部署模型规模相同的目标匹配优化器来考察增益在多大程度上依赖于优化器能力。跨模型迁移。表 4(a) 中的前三行将 SpreadsheetBench 技能从 GPT-5.4源迁移到 GPT-5.4-mini 和 GPT-5.4-nano并将 LiveMath 技能迁移到相同的目标GPT-5.4 到 GPT-5.4 条目仅作为领域内参考保留并在迁移列标记为 -因为源和目标匹配在 GPT-5.4 上训练的 SpreadsheetBench 技能迁移到 GPT-5.4-mini9.4和 GPT-5.4-nano3.0LiveMath 技能迁移到 GPT-5.4-mini4.5和 GPT-5.4-nano5.6。所有四个跨模型行都是正向的并且在其中一行上迁移的技能超过了领域内 SKILLOPT 参考值LiveMath GPT-5.4-nano迁移的 28.8 对比领域内的 27.2这表明一些学习到的过程是与目标模型无关的。其余的跨模型行仍然恢复了领域内增益的有用部分——例如SpreadsheetBench GPT-5.4-mini 保留了 82% 的领域内增益9.4 of 11.4——并且没有一行低于目标的无技能基线。跨框架迁移。表 4(b) 中的框架迁移行是最清晰的部署信号。在 Codex 循环内训练的 SpreadsheetBench 技能迁移到 Claude Code相对于 Claude Code 无技能基线获得了 59.7 的绝对增益从 22.1 到 81.8略高于 Claude Code 领域内 SKILLOPT 参考值 80.4而对称的 Claude-Code 到 Codex 迁移在 Codex 基线之上增加了 43.6从 27.5 到 71.1。在 LiveMath 上Codex 到 Claude Code 的迁移较小在 40.8 基线之上增加 1.6但仍然是正向的而 Claude-Code 到 Codex 的迁移则增加了 12.8从 35.2 到 48.0。由于这两种框架暴露不同的工具/文件 API 和命令界面这些正向迁移表明学习到的规则不仅仅是框架特定的命令配方。特别是在 SpreadsheetBench 中迁移的技能似乎编码了工作簿级别的过程如结构优先检查、公式感知验证和静态值物化因此在一个执行环境中优化技能的成本可以在相关的部署环境中摊销。跨基准迁移。跨基准迁移是三种转变中最严格的一种源基准和目标基准仅共享广泛的任务家族数学。在表 4(c) 报告的 OlympiadBench 到 Omni-MATH 方向上迁移的技能在我们评估的所有三个模型规模上都是正向的在 GPT-5.4 上增益为 3.7GPT-5.4-mini 上为 1.8GPT-5.4-nano 上为 1.3。这些行比领域内和跨框架迁移要小——这并不令人意外因为它们要求优化后的技能在测试实例和答案格式约定都发生变化后仍能保留有用的过程性知识——但它们始终保持正向支持了优化后的技能编码了可重用的数学过程而非记忆的基准特定格式这一预期解释。优化器强度的影响。由于 SKILLOPT 中的优化器仅在离线训练循环期间运行并且在部署时从不被调用因此优化器的选择是一个训练时杠杆更强的优化器可以在不增加使用该技能的推理成本的情况下改进部署的技能。部署的工件仍然是一个静态的 best_skill.md只调用目标模型。表 5 通过使用两种优化器设置运行相同的循环来量化这个杠杆——一个强大的前沿优化器GPT-5.5和一个与目标匹配的优化器共享目标模型——同时保持执行批次、验证门控、有界编辑预算、被拒绝编辑缓冲区和慢速/元更新相同。有两项观察结果。首先强大的优化器在我们测试的每个基准目标单元上都产生了更大的绝对增益GPT-5.4-nano 在 SpreadsheetBench 上提升了 19.0 对比 11.9在 SearchQA 上提升了 19.0 对比 14.1GPT-5.4-mini 遵循相同的顺序SpreadsheetBench 上 11.4 对比 7.1SearchQA 上 4.3 对比 2.4。有界编辑、验证门控循环是实现这种单调性的关键如果没有门控更强的优化器同样可能推动更大但有害的重写。其次与目标匹配的优化器远未崩溃——它在四个单元中恢复了强大优化器增益的 56-74%证实了 SKILLOPT 并非仅仅是将知识从更强教师蒸馏到较弱学生的管道优化循环本身在优化器已有能力之上贡献了实质价值。实际意义在于只要可用高容量前沿优化器是正确的默认选择——它仅消耗训练时的 API 调用部署时无任何增加——而当预算限制迫使使用目标匹配优化器时相同的循环仍然有效。4.4 学习到的技能紧凑性、成本与示例SKILLOPT 的一个核心前提是可训练对象应保持为一个小的、可检查的文本文档。表 1-5 证明了优化器的有效性本小节考察其输出实际上是什么样子的以及成本如何。我们从三个维度——紧凑性、编辑经济性和每点成本——来表征学习到的工件然后每个基准展示一个代表性的学习规则以说明什么样的过程性知识能够在有界更新循环中幸存下来。紧凑性。最终技能普遍很小。在表 6 的六个基准中最终的 best_skill.md 范围从 379 个词元LiveMathematicianBench到 1,995 个词元SpreadsheetBench中位数约为 920 个词元。即使是最长的学习技能也远低于现代前沿模型的典型系统提示预算最短的甚至能容纳在一个屏幕内。从初始到最终技能的增长是适度的取决于初始技能是一行还是段落增长倍数为 2.5 到 53 倍但最终绝对词元大小足够小领域从业者可以在几分钟内阅读、审计和编辑部署的工件。编辑经济性。第二个显著模式是增益来自极少数被接受的编辑。在六个基准中优化期间实际提交到 best_skill.md 的编辑数量在 1 到 4 之间中位数为 2.5。LiveMathematicianBench 相对于无技能 29.3 个百分点的增益来自一次被接受的编辑OfficeQA 的 39.0 个百分点的增益同样来自一次被接受的编辑。这直接证明了验证门控在发挥实际作用优化器模型在每个周期提出更多编辑但只有少数通过了留出检查并存活下来进入部署的技能。优化器的大部分文本空间搜索因此被拒绝由被拒绝编辑缓冲区第 3.5 节捕获以供将来使用并且永远不会到达目标模型。相应地部署的技能是紧凑的而非所有反思的合集。每点测试集增益的成本。训练词元列量化了运行循环的成本。可以看到两种模式。执行过程短且便宜的过程性基准——SpreadsheetBench、OfficeQA、LiveMathematicianBench——每个绝对测试集点达到 0.6–3.6M 训练词元尽管这些基准上的绝对增益是最大的例如OfficeQA 上 39.0 个点每个点 1.1M 词元总计 20.8M 词元。具有更长轨迹或更丰富多模态上下文的基准——SearchQA37.9M / 点和 DocVQA46.4M / 点——每点成本高一个数量级。重要的部署区别在于此成本在技能训练期间一次性支付导出后优化的 best_skill.md 不会增加优化器调用、权重更新只会为目标智能体增加一个紧凑的文本文档。学习到的技能实际说了什么图 4 复制了表 6 中每个案例研究的最终 best_skill.md 中提取的一个代表性学习规则。有三点观察值得注意。首先规则是过程性的而非实例特定的它们都没有命名特定的问题、文件或实体。其次它们一致地编码了前沿模型在零样本情况下所缺乏的纪律性答案格式约束OfficeQA、LiveMathematicianBench、证据绑定到特定视觉区域DocVQA、工作簿结构优先推理SpreadsheetBench、搜索前沿纪律ALFWorld和规范实体选择SearchQA。第三它们读起来像是深思熟虑的人类从业者在花了一天时间研究基准后可能会写的规则——只不过它们是由优化器自动生成的并通过编辑在留出数据上逐个验证。启示。综上所述上述四点观察支持了核心主张的更强版本。紧凑性 2,000 词元和编辑经济性1-4 次被接受编辑意味着部署的工件是可解释的。每点成本0.6M–46.4M 词元/点表明训练成本是可测量的且在部署前支付。学习到的规则的形式——过程性的、可泛化的并且与深思熟虑的人类从业者可能编写的规则一致——证明有界更新和验证门控的文本空间优化发现了可迁移的过程性知识而不仅仅是过拟合训练集。这补充了第 4.3 节中的跨模型、跨框架和跨基准迁移证据工件之所以能迁移是因为它编码的许多规则本质上是可迁移的。4.5 技能演化定性分析我们检查两个具有代表性的运行过程以了解优化后的技能实际学到了什么。ALFWorld 案例使用 GPT-5.4-nano 作为学生GPT-5.5 作为教师而 SpreadsheetBench 案例使用 GPT-5.5 同时作为冻结的学生和优化器模型。在这两个案例中SKILLOPT 并没有用无关的提示替换初始技能。相反被接受的编辑在执行轨迹中观察到的重复失败模式周围添加了紧凑的过程性约束。ALFWorld。初始的 ALFWorld 技能给出一个通用的家庭计划搜索目标物体捡起它如果需要则进行转换并将其放置在目的地。被接受的编辑使这个计划更加具有状态性且更不易陷入循环。优化后的技能学会了精确的对象名称匹配因此相关的对象如杯子、马克杯、平底锅和锅不会被互相替代。它增加了已访问位置记忆因此未访问过的容器和表面被优先选择而不是反复检查可能但已耗尽的位置。它还增加了目的地记忆、“拾取-两个”进度锁和直接完成规则一旦智能体能够清洁、加热、冷却、放置或以其他方式完成下一个子目标它就应该采取该可行动作而不是再次检查、关闭或验证。定性地看技能从通用的搜索-转换-放置策略演变为一个具有对象身份、搜索记忆、进度锁和循环中断器的有限状态执行策略。在这个代表性运行中选定的技能将 ALFWorld 留出测试性能从 49.3 提高到 74.6。SpreadsheetBench。初始的 SpreadsheetBench 技能已经指导智能体使用 Python 电子表格库并保留无关的工作簿内容。被接受的编辑将这个通用自动化工作流转变为工作簿取证策略。优化后的技能学会了检查实际工作簿而非依赖预览跨多个工作表定位表头和目标范围在进行查找或聚合之前标准化键和单元格类型并在结构编辑期间保留格式。它还添加了一条关于公式样式提示的关键规则当评分器读取单元格值时智能体应计算并写入评估后的静态值即使提示提到了诸如 INDEX/MATCH 或 XLOOKUP 之类的公式。后续编辑进一步要求填充完整的目标范围包括当前空白的結果单元格将辅助计算保留在 Python 中而不添加工作簿工件并重新打开保存的工作簿以检查边界行和剩余空白。在这个代表性运行中选定的技能将 SpreadsheetBench 留出测试性能从 40.4 提高到 78.9。5 结论我们提出了 SKILLOPT一个将外部技能文档视为冻结 LLM 智能体可训练状态的文本空间优化器。通过将执行任务的目标模型与编辑技能的优化器分离并使用有界编辑预算、小批次反思、留出验证门控、被拒绝编辑缓冲区和回合制慢速/元更新SKILLOPT 将技能改进转变为受控的学习过程而非即兴的提示修订。在六个基准、七个目标模型和三种执行模式中SKILLOPT 在 52 个评估单元中的 52 个上表现最佳或持平在直接聊天中将 GPT-5.5 平均提升了 23.5 个百分点在 Codex 和 Claude Code 框架下分别提升了 24.8 和 19.1 个百分点并且平均优于由人类、LLM、Trace2Skill、TextGrad、GEPA 和 EvoSkill 技能组成的每个单元最强基线 5.4 个百分点。每个基准的案例研究表明这些增益来自于紧凑的 2,000 词元、可解释的技能工件这些工件仅由 1-4 次被接受的编辑组装而成并且部署的技能可以跨模型规模、框架和邻近基准迁移。这些结果表明紧凑的自然语言技能可以作为前沿智能体实用的领域适应层实现无需修改模型权重的可重用改进。展望。SKILLOPT 为单个目标领域优化单个技能工件自然的扩展包括跨领域共享基础设施的技能库跨基准重用优化器侧的元技能为开放式任务提供无奖励或偏好驱动的验证门控以及将优化后的技能自蒸馏回目标模型作为迈向权重级适应的一步。我们希望将技能本身视为可训练对象——而非提示的附属工件——将使未来的工作能够将完整的优化工具包学习率、调度、正则化、课程学习、验证应用于智能体堆栈中迄今为止一直手工工程化的部分。