1. 项目概述DexUMI是一项突破性的机器人操作技术框架它创新性地将人类手部作为通用接口实现了灵巧操作技能向多种机器人手的迁移。这个系统通过硬件和软件的双重适配有效解决了人类与机器人手部之间的体现差距Embodiment Gap问题。在机器人技术领域让机器人手像人类手一样灵活操作物体一直是个巨大挑战。传统方法如远程操作存在两个主要问题一是操作者需要将手部动作映射到形态完全不同的机器人手上这导致学习曲线陡峭二是缺乏真实的触觉反馈操作者无法感知物体与机器人手之间的接触力。DexUMI通过可穿戴外骨骼和智能视觉处理技术让操作者能够自然地使用自己的手进行演示同时确保这些动作能够准确转移到不同类型的机器人手上。2. 核心设计原理2.1 硬件适配层设计DexUMI的硬件核心是一个精心设计的可穿戴手部外骨骼系统。这个外骨骼不是简单的动作捕捉设备而是经过特殊优化的机械结构能够精确匹配目标机器人手的运动学特性。2.1.1 外骨骼优化框架设计团队开发了一个双层优化框架来确保外骨骼既符合机器人手的运动学要求又能被人类舒适穿戴。优化过程主要考虑两个关键因素指尖工作空间匹配通过数学方法确保外骨骼和机器人手的指尖能够到达相同的三维空间位置。优化目标函数最大化两者工作空间的相似度max S(W_exo, W_robot) -[Σ min ||F_exo(θ_exo)-F_robot(θ_robot,k)||² Σ min ||F_exo(θ_exo,n)-F_robot(θ_robot)||²]其中F代表正向运动学函数θ表示关节角度。可穿戴性约束通过参数化设计如关节位置ji和连杆长度lj并设置合理边界确保外骨骼不会妨碍人手自然运动。特别是针对拇指的特殊结构进行了优化避免与人类拇指的旋前-旋后运动产生碰撞。2.1.2 传感器集成方案外骨骼集成了多种传感器来全面捕捉操作信息关节角度编码器使用高精度Alps旋转编码器记录每个关节的实际角度通过回归模型映射到机器人手的电机值。手腕姿态追踪采用iPhone的ARKit提供6自由度手腕位姿信息。视觉传感器在手腕下方安装150°广角相机(OAK-1)确保人类演示和机器人执行时的视角一致。触觉传感器根据目标机器人手的触觉传感器类型在外骨骼对应位置安装相同类型的传感器如电磁式或电阻式确保触觉信息的一致性。2.2 软件适配层设计软件适配层的主要目标是消除人类手与机器人手之间的视觉差异。DexUMI采用了一个四步视频处理流程分割阶段使用SAM2模型从视频中精确分割出手部和外骨骼区域。背景修复利用ProPainter流式修复算法填补移除手部后的背景区域。机器人手渲染将记录的动作在真实机器人手上回放并录制获取机器人手的单独视频。智能合成通过可见性掩模Visible Mask技术保持正确的遮挡关系将机器人手自然地合成到修复后的背景中。3. 系统实现细节3.1 外骨骼机械设计针对不同类型的机器人手DexUMI团队开发了定制化的外骨骼设计。以Inspire Hand和XHand为例Inspire Hand外骨骼这个六自由度欠驱动机器人手的仿制外骨骼重点优化了拇指结构将摆动关节沿x轴向手腕方向移动避免与人手拇指干涉。XHand外骨骼针对这个全驱动的十二自由度机器人手外骨骼设计更复杂特别关注了拇指的三自由度运动和食指的精细控制。两种设计都通过3D打印实现在保证结构强度的前提下尽可能减轻重量。设计过程中使用了URDF文件进行参数化建模对于没有详细设计文件的机器人手如Inspire Hand则采用等效的四连杆机构进行模拟。3.2 视觉处理流程实现视觉处理是DexUMI的关键创新之一其实施细节包括初始手势协议要求操作者总是以相同的手势开始演示这样可以使用固定的提示点Prompt Points初始化SAM2分割提高分割一致性。遮挡处理算法通过计算外骨骼掩模和机器人手掩模的交集确定哪些机器人手像素应该替换原始图像中的像素。这种方法保持了从手腕下方视角观察时手与物体之间自然的遮挡关系。光照一致性处理虽然当前系统还不能完美复制光照效果但通过在同一环境下录制机器人手视频最大程度减少了光照差异。4. 实验验证与性能分析4.1 实验设置DexUMI在两个不同类型的机器人手上进行了全面测试Inspire Hand6自由度欠驱动手拇指有2主动2被动自由度其他手指各1主动1被动自由度。XHand12自由度全驱动手拇指3自由度食指3自由度其余手指各2自由度。测试包含四个具有挑战性的真实世界任务立方体拾取放置评估基本拾取精度。蛋盒开启测试多指协调能力。茶叶夹取评估毫米级精细操作能力。厨房任务长时程操作测试包括关闭炉灶旋钮、移动平底锅、取盐和撒盐等多个子任务。4.2 关键实验结果实验对比了不同配置下的任务成功率方法触觉视觉处理立方体蛋盒茶叶(工具)茶叶(叶)厨房(旋钮)厨房(锅)厨房(盐)相对动作是修复1.000.851.000.851.000.850.75绝对动作是修复0.100.350.800.001.000.250.00相对动作否修复0.950.901.000.900.950.800.15绝对动作否修复0.900.850.900.601.000.750.00主要发现包括相对动作轨迹的优势采用相对手指动作表示的方法在所有任务中都表现更好。分析表明相对动作更容易学习并且能够积累微小动作直到关键接触事件发生。触觉反馈的特定价值只有在相对动作方法中触觉反馈才能提升性能。特别是在视觉信息有限的取盐任务中触觉反馈使成功率从15%提升到75%。视觉修复的必要性使用原始视频或简单掩模的方法成功率显著降低验证了高质量视觉修复对策略学习的重要性。4.3 数据收集效率在15分钟的茶叶夹取任务中DexUMI的数据收集效率是传统远程操作的3.2倍裸手操作51次成功演示DexUMI36次远程操作11次虽然DexUMI仍比直接裸手操作慢但它提供了机器人可直接使用的数据省去了繁琐的动作映射过程。5. 技术优势与应用前景5.1 与传统方法的比较DexUMI相较于现有技术有几个显著优势与远程操作相比消除了空间观察不匹配问题提供直接触觉反馈数据收集效率提高3.2倍不需要实际机器人参与数据收集与视频学习方法相比提供精确的关节角度数据而非估计值包含真实的触觉信息不需要额外的真实机器人数据进行微调与其他可穿戴设备相比专为多指灵巧手设计通过硬件优化确保动作可行性完整的视觉-触觉数据采集5.2 潜在应用场景DexUMI的技术在多个领域具有应用潜力工业装配精密电子元件的组装需要高度灵巧的操作DexUMI可以快速将熟练工人的技能转移到机器人手上。医疗机器人外科手术机器人可以通过DexUMI学习医生的精细操作技巧特别是那些依赖触觉反馈的微创手术。家庭服务机器人日常生活中的复杂操作如烹饪、整理可以通过DexUMI更自然地传授给服务机器人。危险环境作业在核设施维护或太空探索等场景中操作者可以安全地训练机器人完成精细操作任务。6. 局限性与未来方向6.1 当前限制硬件方面需要为每种机器人手设计专用外骨骼触觉传感器存在漂移问题特别是XHand的电磁传感器3D打印材料的强度限制可能导致轻微变形影响编码器精度软件方面仍需要真实机器人手来获取机器人图像修复后的视频中光照效果不够真实目前仅支持固定位置的相机机器人手硬件限制现有商业机器人手的精度不足存在回差和摩擦尺寸差异可能导致可穿戴性问题如机器人手比人手大很多时6.2 未来改进方向自动化外骨骼设计利用生成模型自动优化外骨骼参数减少人工调整。接触几何建模不仅匹配指尖工作空间还考虑手掌等其他可能接触的表面。材料改进采用TPU等柔性材料提高穿戴舒适性同时保持结构刚度。触觉传感器升级探索基于视觉的触觉传感器或电容式力/力矩传感器提高稳定性和精度。图像生成模型开发直接从动作生成机器人手图像的模型消除对真实机器人的依赖。反向设计范式从舒适可操作的外骨骼出发反过来设计机器人手实现更好的匹配。DexUMI代表了机器人操作技能传授方式的重大进步通过巧妙结合硬件和软件创新它使人类能够更自然、更高效地将灵巧操作技能转移到机器人系统上。随着技术的进一步完善这项技术有望在多个领域推动机器人灵巧操作能力的快速发展。