家用机器人指令跟随训练新数据集发布

通过智能家居设备，用户已能指令语音助手完成开关门等基础操作。但未来AI助手需处理更复杂的日常任务，如准备早餐等。为此，AI助手需具备物体交互、自然语言理解及对话澄清能力。

为推进此类AI助手开发，某机构公开了名为TEACh（任务驱动型对话实体代理）的新数据集。该数据集包含：

• 3,047组可复现的模拟对话
• 第一人称视角的模拟环境视觉数据
• 12种任务类型（如制作咖啡、三明治等）
• 45,000余条对话语句

数据采集采用双人协作模式：一名工作人员扮演用户提供指令，另一名作为机器人执行操作。模拟环境基于AI2-THOR平台，包含厨房/卧室等4类房间的30种变体。机器人可执行取放物品、开关电器、倾倒液体等21种动作。

数据集支持三种基准测试：

1. 对话历史执行（EDH）：根据对话历史预测后续动作
2. 对话轨迹生成（TfD）：根据完整对话重建动作序列
3. 双代理任务完成（TATC）：用户与机器人模型协同完成任务

特别值得注意的是，该数据集包含大量真实对话特征：

• 不同颗粒度的指令（从概括性指导到分步说明）
• 时间错位指令（提前或延迟的步骤提示）
• 纠错对话（如提醒清理水槽后再放置物品）

数据集已作为某机构SimBot挑战赛的基准测试基础，相关论文与基准模型性能已发布于arXiv。该研究涉及30种厨房场景及多数卧室/浴室场景，通过"可见/未见"房间划分验证模型泛化能力。
更多精彩内容 请关注我的个人公众号 公众号（办公AI智能小助手）
公众号二维码