01 Harness 工程详解如何把大模型“榨”出极限“Harness Engineering”挽具工程正成硅谷新共识Anthropic、OpenAI 等公司都在探索。前不久CreaoAI 的 Peter Pang 在 X 上发布的文章《Why Your “AI-First” Strategy Is Probably Wrong》获百万级阅读和热议。文章展示了 Harness Agent 系统激发出的极致效率99% 的代码由 AI 完成每天平均 3 到 8 次生产部署过去六周的产品流程现在一天就能跑完。本期《硅谷 101》播客主播泓君邀请到 Creao 的三位创始人聊该公司对 Harness 的实践以及在组织 AI - First 转型上的深度思考。嘉宾指出AI - First 不等于“使用 AI”要让 AI 成为所有生产力的主导组织转型最难的是让员工信任 AI。泓君请 Peter 介绍 Harness engineering。Peter 称Harness 概念可追溯到大模型刚开始时从 prompt engineering 演变到 context engineeringHarness 是在“驯化”通用系统范围比前两者大涉及工具链使用、沙箱架构设计、宿主服务交互等。泓君问能否理解成 Harness 的工程能力决定把大模型“榨出”最佳使用上限还举例一个 Agent 一夜干掉三人做 SEO 的工作流而一个内容流水线跑两天才被发现是垃圾。Peter 认为这印证了需要 Harness其本质是持续提升系统关键在于系统是靠人的反馈提升还是能自我修复、自我优化。Harness 重要的是让 Agent 在推理阶段扩展提供更多上下文和工具链若做得不好易产生幻觉或上下文溢出导致模型能力降级。泓君问市场对 Harness 的共识和非共识Peter 表示很多人认为 Harness 是静态的开发配套系统发挥 LLM 优势但他们认为是动态过程系统要能自我优化适配市场、产品、用户的信号并迅速迭代且是以 AI 为主导的迭代人只需把信号提供给 AI。02 六周变一天AI 驱动的开发流程有多快泓君提到 Peter 火的推特帖子讲 25 人的公司99% 的代码由 AI 写早上 10 点写功能中午 A/B test下午 3 点根据数据反馈砍掉部分功能5 点重写更好版本传统开发需 6 周这是用 Harness 探索出的方式。Peter 认为 Harness 分两部分对 Creao 自身 Agent 系统的 Harness以及帮用户用 Creao 构建自己 Agent 时的 Harness。传统开发迭代功能需两三个月现在 AI 辅助 coding 只需一两小时所以把设计、规划、测试纳入 Harness 过程对公司转型为 AI - First 至关重要。Clark 认为要做到 AI - First 或 AI native不是在现有流程用 AI 工具而是围绕 AI 能力重构工作流程和组织形态。之前大家用 AI 写代码、写 PRD、做图但效率未提升对齐成本变高所以有了 Peter 设计的新开发流程和架构。泓君问重塑组织架构的变化方向和瓶颈Peter 说要解决人的问题花时间对齐思维模式。以前转型需架构师或工程师花几个月展示新工作方式更优成本大现在 AI 辅助下一两周重构系统并展示其高效能快速让大家融入开发过程。Kai 认为 Harness 是构建让 AI - First 组织高效运转的系统很多人思维难改变AI - First 要求 AI 驱动公司方向工作方式由 AI 驱动人的角色是复盘结果好坏以及思考如何与系统配合。泓君问系统与人配合工作的情况Kai 认为核心是信任问题AI - First 下对齐由 AI 主导如 AI 告知市场团队工程师发布的功能市场团队不用反复问。泓君问 AI 如何知道工程师团队明天能完成工作Peter 表示在 AI 思维模式下迭代产品更侧重新功能能否提升产品顶层指标或有用户使用数据核心是搭建数据链Agent 根据数据决定功能是否上线或回退。泓君问工程师写完代码后 AI 是否自动判断Peter 称传统工程有 CI/CD 流程多是基于规则或单元测试驱动而 AI 情况下有很多 AI 驱动的测试如 Playwright 可做端到端测试能保证发布代码无明显破坏产品的 bug代码发布后的日志信号也能反馈给 AI 评估代码质量。泓君问如何保证 AI 写代码的质量Peter 认为 bug 不可避免Harness 的核心是找到系统中的 bug。通过回归测试避免 bug 发布到生产环境即便有边界情况或竞争条件发布到系统也能快速识别并修复。传统由人驱动Agent Harness 下由 Agent 系统驱动开发了 Agent - driven 的 CI/CD 系统和 Agent - driven 的 bug triage 系统根据问题分类并指派给工程师修复。泓君问引入两套系统后效率提升多少Peter 称 Agent 驱动可并行进行发现 bug 只需 1 - 2 分钟指派给工程师几秒钟工程师用 Agent 调查并提出方案整个周期约 1 - 2 小时对比之前识别、修复 bug 并发布到系统需一周。Clark 提到以前功能愿望清单和 bug 清单长现在 bug 及时发现修复功能数量远超需求。Peter 表示有自动修复系统50% 以上问题通过自动修复完成。03 架构师Harness 中的核心角色泓君用写文章比喻问若 Agent 搭的技术框架基础层出错工程师是否要重新学系统。Peter 认为在 AI 环境下工程团队分架构师和操作者架构师在系统搭建中作用重要如 Creao 系统中 Agent 架构、沙箱和宿主交互方式由架构师决定。传统搭建 Agent 团队需 10 到 20 人现在一个架构师一周内就能完成。Clark 补充称要把 AI 当成系统而非智能系统出错应弥补系统而非纠正智能Harness 是动态提升过程要给 AI 成长空间。他还提出未来受众可能是 Agent要搞清楚工作结果被谁消费再思考提升系统还是回到人的创作过程弥补错误。泓君提到 SaaS 产品转型Peter 表示团队使用任务管理时更关心 Agent 能否“看到”并设定任务优先级会看任务管理产品有无更好的 MCP 和 API 供 Agent 使用。Kai 认为很多公司做 AI 转型时觉得使用 AI 还需审核与人工做时间和成本无差别但构建好 AI 系统时间和成本会大幅提升不过这需要团队有共同目标否则改造时间会拉长。04 转型最难的一步从信任人到信任 AI泓君问公司是一开始就 AI - First 还是后来摸索的Kai 称公司有个过程2025 年上半年大家认为 AI 辅助人工作人占主导下半年意识到这样企业效率提升有限核心是要把生产力工具使用者从人转变到 AI市场和工程团队花一两个月探讨更好的工作方式。Peter 认为这与 AI 能力提升有关过去一年 AI 从辅助到参与再到主导开发与基础模型能力、Agent 架构和基础设施提升相关。意识到重构是去年八九月份花时间转变大家思维方式真正开始重构代码架构和开发过程是今年 1 月用两周重构了整个架构和产品。泓君问之前 AI 解决不了的事情现在解决了哪些Peter 称之前 AI 在规划阶段能力不足现在能给出 90 分方案还能根据评判给出修改后的方案而一年前只能给 50 分方案需人为调整。泓君问 AI 写代码能力是否在 Peter 之上Peter 称 AI 写代码能力在他之上2026 年他没写过代码但作为架构师价值在于找到 AI planning 的缺陷如安全和延迟缺陷还可教 AI 相关准则让其下次规划更好。泓君问有 AI 做生产主力后相当于多少员工的工作量Peter 称一年前研发 Creao 这样的产品需 100 人左右团队花四五个月现在公司 25 人工程师团队 10 人以下产品第一阶段部署约两周。Kai 从 SaaS 公司运营角度表示传统软件时代销售团队超前产品 4 - 5 个月现在技术团队超前市场团队 4 - 5 个月市场团队追赶开发功能导致运营和组织结构改变。泓君问 Clark 市场营销层面是否用更多 AgentClark 称市场拓展团队用公司产品构建 AI - First 的工作流但面临挑战工程易评估而市场工作价值判断较主观要构建系统把主观判断变成信号让系统自动运转目前未完全让 Agent 做决策会让人判断结果好坏市场未准备好的功能不会推向市场。05 为什么大企业难转型中小企业的 AI 红利期泓君问有哪些超前思想市场未接受Clark 称让每个人的 Agent 有读写所有权限是大胆动作希望未来组织更高效数据开放给 Agent 和每个人但需技术支持限制权限避免失误现在跟 Agent 提问题能快速得到答复。Peter 认为主要挑战是市场不知道这种工作方式存在或不知如何高效使用 Agent 完成工作Creao 做了很多工作让用户更易访问 Agent。泓君问对标场景和主要客户Kai 称目标是中小企业大企业合规问题多、“人”的因素复杂转型艰难无合规问题和遗留系统的公司易转型。泓君问公司转型创始人是否要相信 AIKai 称要搞清楚转型代表什么很多 SaaS 公司一开始想把 AI 集成到产品但可能原产品架构不支持需整体重构产品接受不了就难转型。06 当 AI 主导生产人类的新角色是什么泓君问组织结构如何变化Kai 称首先要解决信任问题构建 Harness 系统保障 AI 工作能被人信任。其次组织结构中具体位置变化没有单独的产品经理角色其职责拆解到工程师和工程管理人员身上拿掉该角色后对齐成本可能更低。泓君问产品经理角色是否有价值及新技能要求Kai 称未来需要产品经理其权力可能分散到开发团队成员身上若开发团队成员在 AI 帮助下有产品观念有无该职位不重要原来产品经理主要解决对齐成本和降低开发成本。泓君认为工程师团队和产品经理角色在融合Kai 认同未来产品经理角色可能由团队整体扮演组织化程度会提高。Peter 认为复合型人才或通用型人才在 AI 环境下更易成长UX 和 UI 设计师需具备把想法落地到产品的执行能力。泓君问 Peter 为何初级工程师比资深工程师更适应 AI 环境Peter 称初级工程师技术债务和思想束缚小能接受扩展工作范围融入产品设计和功能部署后分析资深工程师较专精传统工作中不关心代码发布后情况在 AI 环境下难转变思想且 AI 编程会让其专长价值降低。泓君问倾向招哪类人Peter 称转变资深工程师难度大但资深工程师价值不能被取代找到能拥抱 AI 思维模式、有产品感知和市场知识的资深工程师对公司很有价值现在可能只需一到两人。泓君问未来人最核心的能力Peter 认为是系统架构能力从开发功能变为架构和维护 AI 系统市场方面也要搭建自主运行的 Agent 市场系统。Kai 认为从长远看人定义需求方向和审核最终结果的价值无法被取代。