【Frontier】具身智能的下一战World Action Model 未来范式导语2025 年底Nvidia 机器人负责人 Jim Fan 在年度总结中写下了一句震动行业的话“The next frontier of embodied AI is not more teleoperation data, not bigger VLA models — it’s World Action Models.” 2026 年 2 月DreamZero 论文横空出世14B 参数的 WAM仅用 30 分钟的遥操数据55 条轨迹就能零样本泛化到从未见过的机器人和物体。遥操作花了 10 年没解决的问题WAM 用 30 分钟解决了。这不是渐进式改进这是范式革命。这篇文章从遥操为什么已死出发拆解 VLA 的 5 大致命缺陷深入 World Action Model 的核心架构还原 Nvidia 从 Cosmos 到 DreamZero 的全栈布局。文章目录【Frontier】具身智能的下一战World Action Model 未来范式一、三代范式从提线木偶到世界理解二、遥操作为什么已死2.1 数据瓶颈100,000 倍的差距2.2 成本黑洞2.3 无法迁移三、VLA 为什么已死3.1 致命缺陷一不理解物理3.2 致命缺陷二数据饥渴3.3 致命缺陷三泛化灾难3.4 致命缺陷四复合错误3.5 致命缺陷五无法规划四、World Action Model核心架构4.1 核心思想4.2 与 VLA 的根本区别4.3 WAM 的三大组件4.4 DreamZero 的惊人结果五、Nvidia 具身 AI 全栈布局5.1 五层架构5.2 Cosmos世界基础模型5.3 关键数字六、WAM 为什么能赢三个核心论点6.1 论点一视频是机器人的互联网文本6.2 论点二WAM 能像 LLM 一样 Scaling6.3 论点三Sim2Real 是最后一块拼图七、行业全景谁在做 WAM八、挑战与未来8.1 WAM 还没解决的 5 个问题8.2 未来路线图8.3 Jim Fan 的三大预测九、总结9.1 核心公式9.2 一句话总结参考资料一、三代范式从提线木偶到世界理解具身智能的发展经历了三个阶段每一个阶段都在试图解决上一个阶段的核心矛盾范式时代核心思想数据来源根本问题遥操作2015-2023人控制机器人人工演示数据无法规模化VLA2023-2025端到端学习遥操数据互联网不理解物理世界WAM2025-Future世界模型动作互联网视频—当前前沿核心洞察每一代范式的进步本质上是数据来源的解放——遥操作只能用人工数据VLA 能用少量互联网数据WAM 能用无限互联网视频。二、遥操作为什么已死2.1 数据瓶颈100,000 倍的差距数据类型可用规模增长速度互联网文本15T tokens每天增长数十亿互联网视频数十亿小时每天增长数百万小时遥操数据 1M 小时每年增长数万小时差距是100,000 倍。LLM 之所以成功是因为互联网文本是无限的遥操数据之所以失败是因为它是有限的——你不可能雇 100 万人 24 小时操作机器人。2.2 成本黑洞单个遥操技能的成本计算: - 专业操作员时薪: $50-100 - 单个任务演示次数: 100-500 次 - 单次演示时间: 5-30 分钟 - 总人力成本: $5,000 - $50,000 / 技能 - 全部技能 (估计 10,000): $50M - $500M而 LLM 的训练数据成本几乎为零——因为互联网文本是免费的。2.3 无法迁移遥操数据最致命的问题是无法跨机器人迁移A 机器人的关节数、力矩、传感器布局和 B 完全不同A 场景的光照、桌面、物体和 B 完全不同迁移成本 从零重新采集遥操作的本质是提线木偶——每一根线都需要人来拉。线越多人越累木偶越多线越乱。这不是规模问题而是范式问题。三、VLA 为什么已死VLAVision-Language-Action是 2023-2024 年的当红炸子鸡——RT-2、Octo、OpenVLA 等模型一度让人以为具身智能的 GPT 时刻已经到来。但两年过去VLA 的 5 大致命缺陷暴露无遗3.1 致命缺陷一不理解物理VLA 的架构是Vision Encoder → Language Decoder → Action Head它学的是看到什么画面 → 输出什么动作的映射而不是世界怎么运作的物理规律。# VLA 的思维模式ifsee(cup_on_table):actiongrasp(cup)# 但它不知道杯子会碎# WAM 的思维模式ifgrasp(cup)andcup_falls:predict(cup_breaks)# 它理解物理因果后果VLA 在训练时没见过的物理场景中会做出荒谬的动作——用力过猛捏碎物体、在斜面上放置不稳定的物体、忽略碰撞。3.2 致命缺陷二数据饥渴VLA 的训练数据必须是(图像, 语言指令, 动作)三元组而动作标注只能来自遥操作。这意味着互联网上数十亿小时的视频完全无法利用每个新任务都需要 100 次遥操演示数据增长速度远远跟不上模型需求3.3 致命缺陷三泛化灾难VLA 的泛化能力极其有限泛化维度VLA 表现WAM 表现未见过的物体几乎失败零样本成功未见过的场景几乎失败零样本成功未见过的机器人完全失败30 分钟适配未见过的物理交互完全失败可以推理3.4 致命缺陷四复合错误VLA 的管线是串行的视觉错 → 语言错 → 动作错。错误沿管线累积放大而且无法回溯修正。3.5 致命缺陷五无法规划VLA 只看当前帧不预测未来。它无法回答如果我这样做接下来会发生什么——而这恰恰是智能体最核心的能力。VLA 的本质是鹦鹉学舌——它学会了在特定场景下说特定的话但不知道这些话是什么意思。它不知道杯子会碎、球会滚、水会流——因为它从未理解过物理世界。四、World Action Model核心架构4.1 核心思想WAM 的核心思想可以用一句话概括同时预测世界下一帧和机器人下一动作——因为动作就是改变世界的手段理解世界和执行动作是一枚硬币的两面。数学表达WAM : ( s t , a t ) → ( s t 1 , a t 1 ) \text{WAM}: (s_t, a_t) \rightarrow (s_{t1}, a_{t1})WAM:(st​,at​)→(st1​,at1​)其中s t s_tst​是世界状态视频帧a t a_tat​是动作。WAM 同时预测下一帧世界状态和下一动作。4.2 与 VLA 的根本区别维度VLAWAM预测目标只预测动作预测动作 世界状态物理理解无有通过视频预测学习数据来源遥操三元组互联网视频 少量遥操训练信号稀疏只有动作标签稠密每帧都有信号泛化机制特征迁移物理理解迁移4.3 WAM 的三大组件组件一World Foundation Model (WFM)Nvidia Cosmos 是目前最强大的 WFMclassWorldFoundationModel:Cosmos-Predict: 从当前帧动作预测下一帧defpredict_next_frame(self,current_frames,action): 输入: 当前视频帧 机器人动作 输出: 预测的下一帧视频 核心能力: - 理解物理规律重力、碰撞、形变 - 预测物体运动轨迹 - 生成 30s 物理一致的视频 # Flow-based 扩散模型noisetorch.randn_like(current_frames)conditionedself.condition_on_action(noise,action)next_frameself.diffusion_denoise(conditioned)returnnext_frame组件二Action PredictionWAM 在 WFM 基础上增加动作预测头classWorldActionModel(WorldFoundationModel):DreamZero: 同时预测视频和动作defforward(self,video_frames,actionsNone):# 1. 视频编码world_featuresself.encode_video(video_frames)# 2. 联合预测ifactionsisnotNone:# 训练模式: 给定动作, 预测下一帧next_frameself.predict_next_frame(world_features,actions)action_predself.action_head(world_features)returnnext_frame,action_predelse:# 推理模式: 零样本策略提取actionself.extract_policy(world_features)returnactiondefextract_policy(self,world_features):零样本策略提取: 不需要训练, 直接推理# 采样多个候选动作candidatesself.sample_actions(world_features)# 用世界模型评估每个动作的后果best_actionNonebest_score-float(inf)foraincandidates:predicted_futureself.predict_next_frame(world_features,a)scoreself.evaluate_outcome(predicted_future)ifscorebest_score:best_scorescore best_actionareturnbest_action组件三Policy Extraction (DreamZero)DreamZero 是 WAM 的零样本策略提取方法classDreamZero:30 分钟数据适配, 零样本泛化defadapt(self,robot,demo_data,n_demos55): 用极少量数据适配新机器人 Args: robot: 目标机器人规格 demo_data: 仅 55 条轨迹 (约 30 分钟) n_demos: 演示数量 关键: 不需要训练! 只需要: 1. 理解机器人的动作空间 2. 用 WAM 的物理理解做策略推理 # Step 1: 理解机器人动作空间action_spaceself.parse_robot_spec(robot)# Step 2: 从演示中提取任务目标task_goalself.infer_goal_from_demos(demo_data)# Step 3: 零样本策略推理# 利用 WAM 的物理理解, 不需要额外训练policyself.wam.extract_policy(task_goaltask_goal,action_spaceaction_space,)returnpolicy4.4 DreamZero 的惊人结果指标VLA (OpenVLA)WAM (DreamZero)适配数据量1,000 演示55 演示适配时间数天训练30 分钟未见物体泛化15-30%60-80%未见场景泛化10-20%50-70%物理推理能力无有五、Nvidia 具身 AI 全栈布局Jim Fan 领导的 Nvidia GEARGeneralist Embodied Agent Research团队构建了从底层到应用的完整技术栈5.1 五层架构层级产品功能世界基础模型Cosmos WFM视频扩散预测物理世界演化世界状态预测Cosmos Predict给定动作预测下一帧Flow-based 扩散控制策略Cosmos Policy后训练 WFM操作任务微调零样本策略DreamZero (WAM)14B 参数30 分钟适配零样本泛化仿真环境Omniverse Isaac物理引擎数据生成Sim2Real5.2 Cosmos世界基础模型Cosmos 是 Nvidia 在 CES 2025 发布的世界基础模型平台它是整个 WAM 生态的基石# Cosmos 的核心能力cosmosCosmosWFM()# 1. 文本/图像/视频 → 30s 物理一致视频videocosmos.generate(promptA robot arm picking up a red cup from a wooden table,duration30,# 30 秒physics_consistentTrue# 物理一致性)# 2. 给定动作 → 预测下一帧next_framecosmos.predict_next(current_framesvideo[:t],actionrobot_action,)# 3. 生成无限训练数据synthetic_datacosmos.generate_trajectory(taskpick and place,n_variations10000,# 1 万种变化randomize[lighting,objects,textures,camera])5.3 关键数字指标数值含义DreamZero 参数量14B与 GPT-3.5 同量级零样本适配时间30 分钟仅需 55 条轨迹Cosmos 视频生成30s物理一致的世界预测数据效率提升1000x相比遥操数据未见物体泛化Zero-shot南瓜、泰迪熊等六、WAM 为什么能赢三个核心论点6.1 论点一视频是机器人的互联网文本LLM 成功的根本原因是互联网文本的规模——15T tokens几乎免费。WAM 成功的根本原因是互联网视频的规模——数十亿小时同样几乎免费。LLM 数据飞轮: 互联网文本 (免费) → 预训练 → 更好的模型 → 更多用户 → 更多数据 WAM 数据飞轮: 互联网视频 (免费) → 预训练 → 更好的世界模型 → 更好的策略 → 更多部署 → 更多视频关键洞察YouTube 上有超过10 亿小时的视频其中大量包含物理交互——人做饭、修东西、运动、操作工具。这些视频是 WAM 的免费午餐。6.2 论点二WAM 能像 LLM 一样 ScalingLLM 的 Scaling LawPerformance ∝ Compute 0.3 × Data 0.3 × Parameters 0.3 \text{Performance} \propto \text{Compute}^{0.3} \times \text{Data}^{0.3} \times \text{Parameters}^{0.3}Performance∝Compute0.3×Data0.3×Parameters0.3WAM 也有类似的 Scaling LawPhysical Understanding ∝ Video Data α × Model Size β \text{Physical Understanding} \propto \text{Video Data}^{\alpha} \times \text{Model Size}^{\beta}Physical Understanding∝Video Dataα×Model Sizeβ更多视频 更大模型 更好物理理解。这意味着 WAM 可以沿着 LLM 的成功路径继续 Scaling——而遥操数据永远无法 Scaling。6.3 论点三Sim2Real 是最后一块拼图WAM 解决了理解世界的问题但在真实世界中执行仍然需要 Sim2RealWAM Sim2Real 通用具身智能 1. Cosmos 生成无限仿真数据 2. WAM 在仿真中学习物理和策略 3. Sim2Real 桥接仿真和现实 4. 少量真实数据做最终适配七、行业全景谁在做 WAM公司/团队产品/论文核心贡献阶段Nvidia GEARCosmos DreamZeroWFM 零样本 WAM领先Google DeepMindRT-2 → GenieVLA → 世界模型追赶Physical Intelligencepi0VLA 世界模型混合追赶1X TechnologiesNeo世界模型 人形机器人应用UC BerkeleyDreamerV3世界模型强化学习学术清华RoboWorld世界模型机器人学习学术八、挑战与未来8.1 WAM 还没解决的 5 个问题问题描述可能的解决方向视频预测精度长时间预测会漂移更强的扩散模型 物理约束动作空间对齐不同机器人动作空间差异大统一动作表示 适配层实时推理视频扩散模型推理慢蒸馏 量化 专用硬件安全保证WAM 可能预测不安全的动作安全约束 人类监督多模态融合触觉、力觉等非视觉信号多模态世界模型8.2 未来路线图时间里程碑关键技术2023RT-2 / OctoVLA 范式确立VLA2024Cosmos 发布世界基础模型WFM2025DreamZeroWAM 零样本WAM2026Cosmos PolicyWFM→策略WFM Policy2027通用具身智能WAM Sim2Real8.3 Jim Fan 的三大预测视频是机器人的互联网文本——互联网有 15T tokens 文本也有数十亿小时视频。视频 世界的稠密表征是 WAM 的无限数据来源。WAM 将像 LLM 一样 Scaling——更多视频 更大模型 更好物理理解。不需要更多遥操数据只需要更多视频。Sim2Real 是最后一块拼图——Cosmos 生成无限仿真数据WAM 在仿真中学习在现实中部署。九、总结9.1 核心公式Embodied AI World Model ⏟ 理解物理 Action Model ⏟ 执行动作 Sim2Real ⏟ 桥接虚实 World Action Model \text{Embodied AI} \underbrace{\text{World Model}}_{\text{理解物理}} \underbrace{\text{Action Model}}_{\text{执行动作}} \underbrace{\text{Sim2Real}}_{\text{桥接虚实}} \textbf{World Action Model}Embodied AI理解物理World Model​​执行动作Action Model​​桥接虚实Sim2Real​​World Action Model9.2 一句话总结遥操作是提线木偶——每一根线都需要人来拉永远无法规模化。VLA 是鹦鹉学舌——学会了在特定场景下说特定的话但不知道这些话是什么意思。World Action Model 是理解世界——它知道杯子会碎、球会滚、水会流因为它从数十亿小时的视频中学会了物理规律。从提线木偶到鹦鹉学舌到理解世界这不是渐进式改进而是范式革命。遥操已死VLA 已死World Action Model 才是具身智能的未来。参考资料World Action Models are Zero-shot Policies (DreamZero, arXiv 2026)NVIDIA Cosmos World Foundation Model Platform (CES 2025)Jim Fan 年度总结: 具身智能的下一个前沿 (36Kr, 2025)World Model for Robot Learning: A Comprehensive Survey (arXiv, 2026)Cosmos-Predict2.5: World Simulation with Video Foundation Models (arXiv)NVIDIA Cosmos Policy: Robot Control from World Foundation Models (Robot Report, 2026)Can World Models Unlock General Purpose Robotics? (BVP, 2026)State of VLA Research at ICLR 2026作者简介小李同学_LSHCSDN博主专注AI前沿技术解读与开发实战持续分享LLM应用、Agent开发、深度学习等领域的深度内容。如果觉得有帮助欢迎点赞、收藏、关注你的支持是我持续创作的动力