本文分享作者从产品设计到算法落地的全流程实践针对传统技能生成方式人工编写、对话交互的痛点提出评测驱动、测试驱动的技能工厂方案。核心功能包括标准化测试生成技能、基线诊断、多路并发生成、回归迭代和质量检查。同时适配知流平台并展望基于轨迹分析的规模化生产方向。适合想学习大模型应用开发的小白程序员参考。一、出发点最近深度体验了一把从产品设计、UI/UX到前后端开发再到核心算法落地的全流程闭环。目前终于成功把流程 Run 起来虽然在高并发处理和算法精度上还有不少待优化点但这次实践让我对系统架构的全局把控有了更立体的认知。先说出发点为什么要做这样一个事情目前做一个skill的方式主要有两种一种是人工编写skill一种是在openclawClaudcode上通过对话不断交互生成skill先说这两种方式可能会有什么问题模式一人工编写受限于个人经验与精力存在效率比较低质量波动大测试覆盖不足等瓶颈并且可能对于团队来说容易在原子通用逻辑上重复造轮子模式二虽提升了编码速度但本质仍是非确定性的探索过程缺乏自动化验证闭环与工程化约束且一次只能生成一版需要多轮交互才能生成一个较为稳定版本。因此面向Harness设计的技能工厂的想法就油然而生了。二、产品功能生产模式——标准化测试驱动技能生成技能定义首先用户可以输入自己想生成的技能测试问题和API接口后面也会支持挂载sop文档之前做过像维修类场景会有一些标准化流程类操作可行性上来说搭配对应的接口api是可以直接转化成skill的。基线诊断首先判断是否有必要生成是否直接用大模型就可以回答问题了又或者直接复用现有的skill就可以回答问题为了回答这两个问题构建了两个评估模块裸模型评估直接让模型执行目标任务作为基线对照。skill匹配分析召回相似skill执行用户输入的测试问题评估现有技能是否满足用户需求如果不能解决或者不匹配这些失败点和不确定行为本质上就是 Skill 需要解决的真实能力缺口测试构建目前测试构建主要是对用户之前输入的测试问题进行复用。多路并发skill生成之前调研anthropicopenclaw都有skill-creator—专门用于生成技能的skill最近又看到一个专门为 Claude、Cursor、Codex 等 AI 编程助手设计的结构化工作流框架superpowersgithub上138k个star。里面也有专门写skill的writing-skills技能试用了一下感觉比较快并且执行writing-skills生成的技能react的次数会变少。很难讲用基于哪一种基础的skill-creator写出来的skill的效果最好并且这个环节中可能存在一些不稳定因素LLM执行生成本身具有一定随机性因此通过并行调用 3 种不同策略或不同模型/不同 Prompt 模板的 Creator相当于一次性买了三张不同号码的彩票。结果只要其中一路生成了高质量代码整个任务就算成功。这极大地提高了首次生成成功率 (First-Time Pass Rate)避免了因单一路径失败而导致的反复重试和用户等待。回归迭代目前为了保证整个流程的效率只做了单轮的测试优化。测试阶段用户可以选上一阶段的某个版本或者所有版本进行测试从格式规范复用创新功能可用性运行稳定性文档规范几个维度进行评价打分然后发现一些可以优化的地方比如测试的生成的一个skill和其它skill有功能重复的地方就可能导致复用创新性偏低。优化阶段生成优化版本skill可以下载或者发布。质量检查三、生态适配除了上面提到的测试驱动技能生成还对知流平台进行了适配可以基于知流上面的MCPhttpdify agent工具直接生产技能。四、迭代方向统一入口对背后分析迭代流程进行封装只呈现给用户结果和分析结论允许用户一开始选择不同的分析生成模式。基于trace的skill机会挖掘—规模化生产筛选看了千问团队的一篇文章Distill Trajectory-Local Lessons into Transferable Agent SkillsTrace2Skill 的本质是将智能体的“隐性经验”大量具体的执行轨迹转化为“显性知识”结构化的技能文档。这种方法证明了高质量的技能不需要依赖昂贵的人工编写也不需要更新模型参数仅通过开源的小模型进行轨迹分析就能提炼出通用的专家级能力。因此我们也有机会基于我们的一些日志数据沉淀出可固定的技能感觉也有利于agent如何稳定执行长程任务功能优化目前有一些节点的功能还是需要进一步优化完善的比如像回归迭代目前只是用测试-优化-测试这种流程进行回归但是比如像SkillRL 也是把智能体与环境交互产生的冗长轨迹蒸馏成紧凑、可复用的技能卡片并在强化学习训练过程中让技能库与策略共同进化。再比如在这个“回归”的过程中我们可以融入更多的信息用户信息历史数据等等进行优化还有就是对不能实际执行的技能的回归这种情况是否有必要模拟一个虚拟环境让agent进行测试回归。五、AI coding实践在开发过程中主要用了以下产品帮忙设计和开发idealabQoderwork爱码仕灵码aonecopilot等编程插件。AI工具角色idealab和Qoderwork帮忙基于自己的想法做了一些产品功能页面的详细设计爱码仕主要负责前端页面生成灵码aonecopilot等编程插件 主要帮忙debug或者一些优化还有基于想法生成整体编码框架demo自己补充修改细节如何学习大模型 AI 由于新岗位的生产效率要优于被取代岗位的生产效率所以实际上整个社会的生产效率是提升的。但是具体到个人只能说是“最先掌握AI的人将会比较晚掌握AI的人有竞争优势”。这句话放在计算机、互联网、移动互联网的开局时期都是一样的道理。我在一线科技企业深耕十二载见证过太多因技术卡位而跃迁的案例。那些率先拥抱 AI 的同事早已在效率与薪资上形成代际优势我意识到有很多经验和知识值得分享给大家也可以通过我们的能力和经验解答大家在大模型的学习中的很多困惑。我们整理出这套AI 大模型突围资料包✅ 从零到一的 AI 学习路径图✅ 大模型调优实战手册附医疗/金融等大厂真实案例✅ 百度/阿里专家闭门录播课✅ 大模型当下最新行业报告✅ 真实大厂面试真题✅ 2026 最新岗位需求图谱所有资料 ⚡️ 朋友们如果有需要《AI大模型入门进阶学习资源包》下方扫码获取~① 全套AI大模型应用开发视频教程包含提示工程、RAG、LangChain、Agent、模型微调与部署、DeepSeek等技术点② 大模型系统化学习路线作为学习AI大模型技术的新手方向至关重要。 正确的学习路线可以为你节省时间少走弯路方向不对努力白费。这里我给大家准备了一份最科学最系统的学习成长路线图和学习规划带你从零基础入门到精通③ 大模型学习书籍文档学习AI大模型离不开书籍文档我精选了一系列大模型技术的书籍和学习文档电子版它们由领域内的顶尖专家撰写内容全面、深入、详尽为你学习大模型提供坚实的理论基础。④ AI大模型最新行业报告2025最新行业报告针对不同行业的现状、趋势、问题、机会等进行系统地调研和评估以了解哪些行业更适合引入大模型的技术和应用以及在哪些方面可以发挥大模型的优势。⑤ 大模型项目实战配套源码学以致用在项目实战中检验和巩固你所学到的知识同时为你找工作就业和职业发展打下坚实的基础。⑥ 大模型大厂面试真题面试不仅是技术的较量更需要充分的准备。在你已经掌握了大模型技术之后就需要开始准备面试我精心整理了一份大模型面试题库涵盖当前面试中可能遇到的各种技术问题让你在面试中游刃有余。以上资料如何领取为什么大家都在学大模型最近科技巨头英特尔宣布裁员2万人传统岗位不断缩减但AI相关技术岗疯狂扩招有3-5年经验大厂薪资就能给到50K*20薪不出1年“有AI项目经验”将成为投递简历的门槛。风口之下与其像“温水煮青蛙”一样坐等被行业淘汰不如先人一步掌握AI大模型原理应用技术项目实操经验“顺风”翻盘这些资料真的有用吗这份资料由我和鲁为民博士(北京清华大学学士和美国加州理工学院博士)共同整理现任上海殷泊信息科技CEO其创立的MoPaaS云平台获Forrester全球’强劲表现者’认证服务航天科工、国家电网等1000企业以第一作者在IEEE Transactions发表论文50篇获NASA JPL火星探测系统强化学习专利等35项中美专利。本套AI大模型课程由清华大学-加州理工双料博士、吴文俊人工智能奖得主鲁为民教授领衔研发。资料内容涵盖了从入门到进阶的各类视频教程和实战项目无论你是小白还是有些技术基础的技术人员这份资料都绝对能帮助你提升薪资待遇转行大模型岗位。以上全套大模型资料如何领取