第一部分 HoloAgent-0: A Unified Embodied Agent Frameworkwith 3D Spatial Memory1.1 引言与相关工作1.1.1 引言如原论文所述在数字环境中LLM Agent通常遵循一个实用的执行循环它们对结构化状态进行推理、调用软件工具、检查执行反馈并修订后续动作 [1–5]将这一循环迁移到物理机器人上要困难得多因为物理执行是连续的、依赖具身形态的、不确定的并且受安全约束 [6–9]这种迁移暴露出一个具身性鸿沟物理技能的行为方式并不像具有干净输入/输出类型、确定性输出、完整反馈或可逆副作用的软件 API比如机器人可能因为空间记忆过时而导航到错误的房间可能无法抓取已移动位置的物体或者从运动控制器处只获得部分进度信息因此核心挑战在于系统层面具身Agent需要一种执行抽象使物理技能在长时间跨度任务执行过程中具有可组合性、可观测性和可验证性近期的具身智能系统在物理智能体的多种能力模块上取得了进展包括具有泛化能力的操作、空间理解、导航以及人形体运动控制视觉-语言-动作VLA、视频-动作VA以及全身动作模型为通用的操作与交互技能提供支持[10-19]空间理解[20-26] 和VLN 模型[27-31] 支持在复杂环境中的导航而运动控制模型[32-35] 则实现了多样化的具身运动近期的具身多模态系统进一步探索了高层次的协同。例如π0.5 使用一种双层推理过程在生成低层连续动作之前先预测文本子任务[11, 36-38]尽管如此许多系统仍然将操作、导航、空间理解和运动控制视为专门的模块、模型层面的策略或是松散耦合的智能体循环。它们缺乏一种物理执行接口来组合异构技能将执行过程落地到持久的3D 记忆中跟踪部分进展并在具身失败时触发恢复对此来自的研究者提出了 HoloAgent-0这是一套面向真实世界机器人部署的统一具身智能体框架。HoloAgent-0 并非用来替换底层策略模型而是围绕 Embodied AgentOS 构建一个闭环工作流用于组织异构机器人的各类能力。AgentOS 将自然语言指令转换为可执行的技能图分配机器人资源、监控执行过程并根据运行时反馈进行重新规划该框架由三个紧密耦合的层组成Embodied AgentOS 提供任务规划、调度、监控以及故障恢复记忆层Memory Layer维护持久的空间落地spatial grounding和时间执行历史技能层Skill Layer则将机器人的能力抽象为具有类型的动作这些动作具有结构化输入、进度信号、故障模式以及可恢复性状态通过这一接口AgentOS 可以组合专用后端例如用于导航的HoloNavi、用于全身运动的 HoloMotion [35]以及用于操作的 Holo-Brain [15]这几层共同将云端推理、设备端执行、持久记忆与基于反馈的恢复连接起来形成一个统一的具身智能体闭环一个用于物理机器人执行的 AgentOS 运行时作者将长时间跨度的具身任务执行形式化为一个系统组织问题并提出 Embodied AgentOS这是一种闭环工作流用于将语言指令转换为可执行的技能图调度机器人资源、跟踪任务状态并根据运行时反馈进行重新规划具有空间和时间记忆的物理执行接口作者通过带类型的具身技能、空间与时间记忆以及运行时验证来组织机器人的能力该接口使异构技能可以进行组合将规划过程扎根于持久的三维空间记忆中在执行过程中保留任务历史并支持监控与故障恢复真实世界部署与闭环评估作者在真实机器人硬件上实例化 HoloAgent-0对其在 3D语义建图和长时序导航方面的性能进行定量评估并通过定性方式展示其在真实部署环境下的闭环运动控制、目标搜索、跨机器人协同以及移动操作能力1.1.2 相关工作首先对于从数字体到具身智能体框架数字化的 LLM 智能体已经在实践中收敛到一套常用的执行循环它们在结构化状态上进行推理、调用工具、检查反馈、存储记忆并据此修正后续动作 [1–5,52]。这一循环在纯软件环境中运作良好因为工具通常暴露干净的输入与输出观测也以文本、代码、网页或 API 响应的形式到达物理具身会削弱这些前提假设机器人的动作在时间上展开依赖于与具身相关的控制器和不确定的三维状态并且可能部分失败或以不安全方式失败因此一个具身智能体框架需要数字框架中很少提供的系统接口包括持久的度量-语义记忆、对异构机器人技能的类型化访问以及用于失败检测和重新规划的运行时监控现有的机器人中间件和近期基于 LLM 的机器人运行时为这一技术栈提供了重要组成部分。这些组成部分从 ROS2 中的类型化通信和模块化部署到语言层面的任务解释、ROS action 或 service 生成、跨具身形态的技能库、共享状态以及模块化能力等一系列内容HoloAgent-0 延续了从数字代理到具身代理的这一转变但将整个框架聚焦于一个闭环的物理执行接口该接口将基于指令的物理行为策略与面向大规模语义落地的持久化 3D 场景理解相结合其次对于指令条件化机器人策略指令条件化机器人策略作为具身智能体的行为层将语言层面的目标映射为可执行的物理动作任务与运动规划将符号化的任务结构与几何可行性相结合[6,7]而语言条件化机器人系统则利用语言模型来选择、排序或合成可执行的机器人行为[8,9,58]最新的具身多模态模型、视觉-语言-动作策略、视频-动作模型以及世界-动作模型通过从大规模视觉、语言、视频和机器人动作数据中学习进一步提升了泛化能力[10–13,16–19,36–38,59]这些系统提供了强大的行为策略但许多仍然绑定于特定的动作表示、机器人平台或任务族它们自身也不具备持久记忆、长时程推理或运行时恢复能力因此HoloAgent-0 将这些模型视为具身技能后端它们负责执行关键物理行为而AgentOS 则通过共享的命令/状态接口对其进行调度、监控其状态并在失败时进行恢复最后对于3D 空间记忆与场景理解持久化的空间记忆为决策提供基础用于确定具身技能应该在何处运行以及应使用何种场景语境。长时程指令往往会引用当前时间步中不可见的地点、物体、关系和变化经典的 3D 场景图将建筑组织为基于几何的实体与关系 [60]而开放词汇映射和 3D 场景图方法则将语言查询与度量地图、稠密特征、目标实例或结构化空间关系相连接 [42,43,51,61–63]最新的具备 3D 感知能力的具身模型进一步将显式空间先验或视角不变的空间表示注入到感知、推理与行动中 [14,18,25,26,64]语言引导导航是场景理解的一个典型应用智能体必须将指令映射到具体地点、地标以及可通行路径这一问题已在指令跟随和基于场景图的导航设定中得到研究 [39,65,66]HoloAgent-0 在这些方向之上进一步发展将 3D 表示用作一种可操作的记忆层几何支持定位与可通行性判断语义支持语言对齐与语义落地场景图结构支持在物体层面与房间层面的推理结合具身技能接口该记忆层使 AgentOS 能在导航、目标搜索、操作操控、记忆更新以及失败恢复过程中将VLA 风格的行为模型与空间理解相融合1.2 总控层具身 AgentOS用于机器人执行的闭环运行时系统Embodied AgentOS 是HoloAgent-0 中的运行时层将自然语言意图转化为闭环的机器人执行。与其将语言模型视为一次性规划器AgentOS 会维护任务状态、从记忆中检索空间上下文、调度技能调用、监控执行状态并在观察到的结果与预期状态不一致时修订计划如图1 所示运行时通过ROS2 命令/状态总线连接AgentOS、记忆层、技能层以及监控/验证组件『即HoloAgent-0 通过 ROS2 命令/状态总线将具身 AgentOS、具身记忆以及具身技能连接起来形成一个针对空间检索、技能图规划、执行监控、记忆更新以及基于反馈的重新规划的闭环』图2 展示了该运行时所支持的代表性行为使用 HoloAgent-0 的典型闭环执行示例a) 基于提示的运动控制执行并验证短时域的全身指令b) 主动目标搜索探索环境、构建地图并验证目标咖啡机的位置c) 跨机器人协作在一台机器人执行舞蹈技能的同时为另一台机器人规划路径d) 长时域移动操作将叠衣任务分解为导航、抓取与放置、运动以及操作等步骤1.2.1 设计原则HoloAgent-0 遵循四条设计原则将语言-智能体循环机制适配为可靠的机器人执行闭环优先AgentOS 将规划视为一个反复执行“观测–检索–行动–监控”循环的过程而不是一次性的文本生成问题。通过这一循环当某个技能失败、目标存在歧义或在执行过程中环境发生变化时系统可以对其计划进行修订以内存为中心持久化的空间与时间记忆为规划提供主要上下文AgentOS 并非只依赖当前的相机视角或对话上下文而是在执行动作之前会从记忆中查询房间、视角views、物体、姿态poses、当前激活的目标以及最近一次技能执行结果类型化技能接口机器人的能力通过带类型的、可监控的技能调用对外暴露这些调用包含命令参数和状态事件该接口将高层任务推理与具体具身实现相关的控制器解耦同时保留用于恢复所需的进度和失败证据默认具备可观测性运行时会记录并呈现命令/状态事件、检索到的记忆、状态转换以及技能结果并通过用户反馈、日志和可视化进行展示这种可观测性有助于真实机器人调试并为 AgentOS 提供验证或修订执行所需的证据1.2.2 运行时层次结构与 ROS2 执行接口AgentOS 通过四个功能层实现运行时循环这四个层之间通过 ROS2 的命令/状态接口连接命令主题command topics承载由 AgentOS 调度并发送到机器人能力模块的技能调用而状态主题statustopics则返回进度、失败信息、传感器健康状况、检索到的上下文以及内存更新事件该基于主题的接口使系统保持模块化开发者可以替换单个模型或控制器同时仍然保留长时程执行所需的闭环反馈路径AgentOS 层AgentOS 层将每条用户指令转换为一个可执行、可监控的技能图。对于语音或文本指令AgentOS 会解析请求从记忆中检索任务历史和空间证据并将指令分解为带有执行顺序、前置条件和恢复依赖关系的技能节点在执行过程中调度器会派发已就绪的技能调用消费状态反馈并在当前计划失效时触发澄清或重新规划技能层具身技能层通过可调用的机器人能力来实现智能体的“身体”这些能力包括交互、感知、导航、操作以及全身运动。每个技能都会消耗结构化的指令参数并发布状态事件如进度、成功、失败模式、置信度、延迟以及可恢复性技能接口使 AgentOS能够在不依赖各个后端内部架构的前提下组合异构的机器人能力记忆层记忆层提供持久化的空间与时间记忆并由规划、定位、感知以及跨实体协作模块共享空间记忆返回候选目标物体、可导航区域、场景图上下文以及定位假设时间记忆记录当前激活的目标和规划状态、执行与恢复轨迹以及结果摘要执行结束后记忆更新模块会将新的观测结果和技能执行结果写回对应的空间和时间记录中监控与验证层监控与验证层将原始执行证据转换为决策和反馈在部署阶段它用于验证技能输出结果向用户呈现文本或语音反馈并为 AgentOS 的重新规划提供信号在开发阶段它会记录 ROS2 bag、结构化日志、RViz 视图以及 Rerun 可视化结果用于诊断在感知、记忆更新、规划和机器人控制等环节出现的故障综合来看这些层共同将 AgentOS 定义为一个闭环运行时环境而非单一的规划器。下一节将详细介绍该运行时所调度与监控的、基于类型的技能接口1.3 技能层作为可执行动作接口的具身化技能(交互/导航/VLA/全身运控)具身技能层构成了 AgentOS 规划与机器人硬件之间可执行的边界HoloAgent-0 并不是让语言规划器直接生成底层控制指令而是将机器人能力以带类型、可监控的技能调用形式对外暴露。一次技能调用只需指定机器人应当完成什么目标由具身相关的后端决定如何执行而运行时状态流则报告目标状态是否已经达成通过这一接口AgentOS 获得了一个稳定的动作空间同时又允许基础模型、经典控制器以及混合系统在同一个 ROS2 命令/状态接口后端各自独立演进1.3.0 类型化技能调用与运行时状态作者定义了一个轻量级的执行接口用于将机器人的各类能力封装为可带类型、可监控的技能调用。与纯软件工具不同物理技能可能会部分失败、受具身约束限制并且其反馈可能是延迟的或不完整的因此该接口不仅要指定发送给后端的指令还需要明确预期效果以及 AgentOS 在运行时用于验证、重试或重新规划的证据命令模式Command schema每个技能都会声明一个命令名称、带类型的参数、前置条件、目标引用以及预期效果例如move_to(roomkitchen)、pick(objectmug)或 speak(text...)AgentOS利用这些字段来构建技能图、绑定以记忆为基础的目标并检查观测到的结果是否满足预期的后置条件运行时状态接口每个后端发布的是执行轨迹而不是一个隐藏的成功标志。该轨迹会报告进度、成功情况、失败模式、置信度、延迟和可恢复性使 AgentOS 能够区分已完成的技能与被阻塞的、含糊不清的、不安全的或可恢复的执行这些状态事件将作为规划依据用于决定是继续执行、重试、请求澄清、更新记忆还是重新规划具身特定的后端通过学习到的策略、经典控制器或混合系统可以在具体的机器人实体上实现同一技能接口的落地这种分离方式在不同的人形机器人、移动底盘和机械臂之间保持高层动作空间的一致与稳定同时又允许每个平台依据自身的传感、驱动与安全约束实现导航、操作、交互或全身运动等功能带类型的技能抽象使得 AgentOS 的循环不依赖于任何特定的具体具身形式或模型检查点。AgentOS负责调度符号化的技能调用而具身技能层则将这些调用落实到下文所述的具体技能族上1.3.1 交互与感知技能交互技能作为面向用户的控制通道语音接口将 ASR、对话状态和 TTS 封装为可调用的技能如 listen 和 speak这些技能会返回转写置信度、澄清请求、用户确认、打断以及交付完成等状态事件从而使 AgentOS 能够在任务意图或执行状态不确定时将人类纳入闭环控制之中感知技能作为连接机器人观测与 3D 空间记忆的“落地”grounding通道开放词汇感知open-vocabulary perception支撑了诸如检测detect、定位localize和验证verify等技能AgentOS 提供对象、区域或目标引用而感知后端则返回检测到的实例、置信度评分、视角证据、目标验证结果以及记忆更新触发信号导航和操作manipulation技能利用这些证据来进行目标选择和结果验证而记忆层则将其存储为对象观测、视图描述符或更新后的场景图scene-graph证据1.3.2 空间导航与探索HoloNaviHoloNavi 在 HoloAgent-0 中实现了空间导航技能族。其输入包括语言级目的地、目标物体、前沿frontier目标以及目标位姿其状态输出则用于报告目标可达性、定位置信度、路径受阻情况、验证失败情况以及探索进度。在内部HoloNavi 通过分层物体导航、在线验证和前沿探索将这些技能调用转化为可执行的导航目标分层物体导航给定一次 move_to 或 find 技能调用大语言模型LLM首先将该请求解析为空间与语义相结合的结构化查询例如楼层、房间以及目标物体等随后HoloNavi 在 HMSG 上执行快速匹配以检索候选房间、视角以及物体实例这个快速阶段使用分层的 CLIP 特征匹配在进行代价高昂的视觉推理之前裁剪搜索空间在线验证循环快速匹配可能返回在视觉上相似但实际上错误的候选结果尤其是在目标物体较小、房间名称存在歧义或记忆信息陈旧的情况下为优化目标选择HoloNavi 将候选目标视图发送给VLM视觉语言模型进行视觉验证和慢速推理这遵循了 FSR-VLN [39] 的快到慢推理设计如果VLM 在选定视图中确认了目标物体HoloNavi 将计算该物体的中心位置并将导航任务派发到这一经验证的目标上如果验证失败系统会旋转机器人以采集周围环境的视图重新运行目标检测和 VLM验证并上报失败的候选结果以便 AgentOS 在真正执行导航之前可以更新记忆或选择不同的子目标主动空间探索当当前的 HMSG 和在线视图都无法对目标进行定位时AgentOS 不会在缺失状态下继续规划而是会触发一个主动探索技能该触发信号可能来自未解析的房间或物体引用、对场景图检索的置信度较低、度量地图中的前沿区域或者由陈旧记忆导致的在线验证失败该探索技能根据候选视点的预期信息增益、与任务的语义相关性、可通行性以及安全约束对其进行评分然后将选定的视点或前沿frontier路径发送给 HoloNavi 执行在每一步探索之后该技能会向 AgentOS 报告新观测到的区域、尚未解决的目标以及行走/导航失败情况随后记忆更新层将这些事件融合进几何记忆、语义实例以及受影响的 HMSG 子图中使AgentOS 能够查询扩展后的空间记忆并在更扎实的环境理解基础上恢复原始任务的执行1.3.3 操作HoloBrainHoloBrain 是 HoloAgent-0 [15] 所使用的操作类 VLA 后端。在技能层HoloBrain 实现了诸如 pick、place、open、handover、push 和 fold 等操作调用每一次调用都会融合来自 AgentOS 的任务意图、当前视觉观测、机器人本体先验以及来自语义记忆的可选目标物体定位。在这一结构化上下文的前提下HoloBrain 执行端到端策略推理并输出可执行的单臂、夹爪或双臂动作用于对象级交互作为一个受监控的技能后端HoloBrain 上报的是执行证据而不仅仅返回一个最终的成功标志。其状态流包含对象未找到事件、对象运动、抓取失败、不可达位姿、碰撞风险、策略置信度低以及用户确认需求等这些信号使 VLA 的执行可以被 AgentOS 运行时有效使用失败会变成显式的规划证据用于重试、更新感知结果、请求澄清或重新规划对于长时程的移动操作任务HoloAgent-0 通过统一的指令/状态接口将 HoloBrain 与导航和感知技能进行组合HoloNavi 首先将机器人带到与任务相关的区域或物体视角位置随后HoloBrain 基于当前观测和目标上下文执行局部操作技能如果该物体缺失、被遮挡、不可达或需要采用不同的接近姿态所上报的状态即可触发记忆检索、主动探索、导航重定位或新的操作子计划这样的循环为在长时程操作示范中将基于 VLA 的局部控制与任务分解及导航进行组合提供了一个实用接口1.3.4 全身运动HoloMotionHoloMotion 在 HoloAgent-0 [35] 中提供类人机器人全身运动后端。它对外暴露参考轨迹跟踪、速度控制、姿态调整和恢复技能等能力同时回报运动进度、平衡状态、接触风险、速度误差以及是否可进行恢复等信息通过该接口AgentOS 可以发出高层次的运动目标请求而由后端负责底层关节控制HoloMotion 支持两种执行模式在动作追踪模式下人形机器人会跟随重定向后的示范来执行交互行为例如挥手、鞠躬、握手或跳舞在速度跟踪模式下它会根据给定的线速度和角速度执行行走、转向、停止和恢复等运动技能。这些技能将 HoloAgent-0 的能力从导航与操作规划扩展到物理上扎实的类人行为通过同一套命令/状态接口HoloMotion 可以与其他技能族进行组合。它将 HoloNavi 的输出转化为稳定的行走和转向指令并通过调整躯干姿态、达到稳定的交互姿势或在接触失败后进行恢复来支持 HoloBrain。AgentOS 利用所上报的运动状态当类人机器人的状态不再支持当前任务时来决定继续、减速、重试、触发恢复或重新规划1.3.5 通过共享接口实现跨形态协调技能执行接口还支持轻量级的跨形态协调异构机器人可以共享内存记录、带类型的技能调用以及状态事件因此 AgentOS 能够在不暴露各自底层控制器的前提下将同一任务的不同部分分配给不同的实体执行所有具身体都将观测结果、检测结果、地图更新以及技能执行结果写入同一个分层的三维记忆中每一次更新都会用空间证据、时间上下文以及报告该信息的具身体进行标注因此AgentOS 在为某个机器人进行规划时可以复用另一个机器人所取得的发现例如先利用一个移动底盘机器人来填充候选目标物体的位置然后再由人形机器人前往这些位置抓取并操作这些物体AgentOS 会根据能力、位置、可用性以及安全状态将每一次任务级技能调用绑定到一个具体的具身实体在执行过程中共享状态事件会报告位姿、传感器健康状况、当前激活的子目标、执行进度、失效模式以及可恢复性从而使 AgentOS 能够协调并发执行、避免工作空间冲突并在某个机器人发生阻塞时移交责任通过这种机制系统是通过共享内存、带类型的技能调用以及可观测的状态事件来组合多个机器人而不是依赖一个单独的控制器1.4 记忆层具身智能体的空间与时间记忆记忆层为 HoloAgent-0 提供空间和时间记忆空间记忆将传感器数据流转换为可持久化的 3D 世界表示Embodied AgentOS 可以针对该表示执行语义落地、定位、导航和操作等查询该表示包含几何、拓扑与占据信息机器人的位姿与定位信息开放词汇的 3D 语义地图以及用于房间级、视角级和对象级推理的分层多模态场景图HMSG时间记忆记录在 AgentOS 循环过程中产生的不断演化的目标与规划状态、执行与恢复轨迹以及结果摘要对于一个任务查询记忆层会返回候选的位置、对象、位姿、任务历史以及最近的执行证据。任务执行结束后它会更新受影响的空间记录和时间轨迹// 待更