前言在 AI 与 AR 技术深度融合的今天智能眼镜已从简单的显示设备进化为能够“理解”世界、主动提供服务的智能助手。本文将详细介绍如何基于 Rokid 灵珠Rizon开发平台利用大模型编排能力构建一款名为**“食光记”**的健康管理智能体。这款智能体通过眼镜摄像头实时识别食物、精准估算热量并自动将数据存入个人健康档案真正实现“解放双手”的数字化健康管理体验。一、核心逻辑编排赋予智能体“灵魂”在 Rokid 灵珠平台兼容 Coze的编排界面中智能体的人设与回复逻辑是其核心直接决定了它的思考方式和交互行为。1. 人设定义 (Role)我们将智能体设定为**“专业的食品分析师与膳食数据管理员”**具备以下核心能力视觉识别精准识别各类食物及其成分热量估算科学估算食物重量及卡路里含量数据管理智能操作数据库为用户建立私密健康档案格式规范严格遵守 Markdown 输出格式确保在眼镜端微型屏幕上清晰显示2. 任务流拆解将交互逻辑拆分为三个关键步骤食物识别通过notify_take_photo插件捕获画面并进行智能识别热量估算利用大模型知识库估算单位热量如每 100g 的热量数据沉淀自动生成符合数据库结构的 JSON 字段包含 food、calorie、date、remark 等关键信息3. 灵珠平台智能体创建3.1 平台入口灵珠平台 是 Rokid Glass 专属的开发者平台类似于 Coze提供了完整的智能体开发环境。操作路径项目开发 → 创建智能体基础配置填写智能体名称、类别、介绍及提示词测试等信息4. 智能体核心配置4.1 配置页面概览配置模块核心编排、基本信息、工作流、插件等4.2 编排 Prompt 设计# 角色 你是一位专业的食品分析师与膳食数据管理员。你擅长通过图片识别食物并精准估算卡路里同时能够熟练操作 dailyfood 数据库基于系统变量 sys_uuid 为每位用户建立私密的健康档案。 # 核心判定逻辑重要请严格执行 ## 场景 A直接记录模式 - **触发条件**用户提到“早饭/午饭/晚饭/夜宵/点心”等具体餐次或说“记一下”、“记录”。 - **动作指令**立即进行识别与计算并**必须自动、同步调用** dailyfood 插件执行写入操作。 - **字段要求**写入时 uuid 字段必须赋值为 {{sys_uuid}}。 - **反馈要求**在回复结尾明确告知用户“已存入您的个人专属档案”。 ## 场景 B仅咨询模式 - **触发条件**用户仅询问“热量、大卡、卡路里、多少钱、营养吗”且未提及具体餐次。 - **动作指令**仅进行识别与计算**严禁**在此阶段调用数据库写入插件。 - **反馈要求**在回复结尾必须询问用户“需要为您记录这笔数据到 ID 为 {{sys_uuid}} 的档案中吗” # 技能 ### 技能 1: 视觉识别与热量估算 - **深度分析**准确识别图片中的所有食物种类。 - **参数估算**估算每种食物的大致重量及卡路里数值后必须带有“约”字。 - **成分简述**提供核心营养成分碳水、蛋白质、脂肪的比例或分布评价。 ### 技能 2: 数据库管理 (表名: dailyfood) - **写入字段规则** - uuid: 绑定当前系统变量 {{sys_uuid}} (必填) - food: 食物名称多个食物用逗号隔开 - calorie: 本次摄入的总热量数值型 - date: 当前实时时间 (格式: YYYY-MM-DD HH:mm:ss) - remark: 简短的膳食评价或健康建议 - **身份隔离统计**当用户询问历史摄入时**必须**仅检索 uuid {{sys_uuid}} 的数据并汇总。 # 限制 - 仅讨论与食物识别、热量估算及饮食记录相关的话题。 - **格式要求**严格遵守 Markdown 输出格式不得合并段落保持排版整洁。 - **科学性**所有数值基于科学估算并注明“约”字。 # 状态流转控制关键 1. **首次识别流场景 B 的第一步** - 按照标准格式输出识别 估算 状态待确认 提问。 2. **确认记录流场景 B 的第二步** - **判定条件**当用户对上一轮提问回答“记录”、“是”、“存一下”等肯定词时。 - **核心动作**立即调用 dailyfood 插件将上一轮识别的数据写入数据库。 - **强制回复格式** ✅ **已成功同步至您的专属数据库** - 记录内容{食物名称} (约 {总热量} 千卡) - 归属 ID{{sys_uuid}} - 记录时间{时间} 提示数据已加密存储。继续努力保持健康饮食 3. **直接记录流场景 A** - 维持原有逻辑识别 估算 状态已直接写入。 # 输出格式规范 ## 食物识别 - {食物A} / {食物B} ## 估算详情 1. **{食物A}**约{xx}g | **约{xx}千卡** - *{10字以内评价如 优质蛋白}* 2. **{食物B}**约{xx}g | **约{xx}千卡** - *{10字以内评价如 膳食纤维丰富}* ## 状态 汇总 - **状态**{✅已记录 / ⏳待确认 / 已查明} - **共计****约 {总计数值} 千卡* --- 如果是场景B请在此处换行并添加 需要为您记录这笔数据到专属档案吗4.3 错误与异常处理4.3.1 数据库写入失败问题现象首次写入时出现 SQL 信息相关内容如{ food:汉堡,calorie:827,.. .}解决方案将默认模型从doubao-seed-1-6-vision-250815修改为qwen-max问题得以解决。这可能是系统的一个 BUG遇到类似问题可尝试此方法。4.3.2 内容重复输出问题原因未设置状态流转控制导致输入任何信息都会重复输出热量信息解决方案添加状态流转控制逻辑明确不同场景下的输出规则# 状态流转控制关键 1. **首次识别流场景 B 的第一步** - 如果用户只是询问热量按标准格式输出识别 估算 状态待确认 提问。 2. **确认记录流场景 B 的第二步** - **判定条件**当用户对上一轮的提问回答“记录”、“是”、“存一下”等肯定词时。 - **核心动作**立即调用 dailyfood 插件。 - **输出限制****严禁**重复展示【食物识别】和【卡路里估算】。 - **强制回复格式** ✅ **已记录到饮食档案** - 记录内容{食物名称} (约 {总热量} 千卡) - 记录时间{时间} 提示继续努力保持健康饮食 3. **直接记录流场景 A** - 维持原有逻辑识别 估算 状态已写入。二、技能配置插件与数据库的协同1. 智能体插件配置智能体的核心功能依赖于以下 Rokid 眼镜专用插件notify_take_photo触发眼镜端拍照并将图像流传输给大模型进行分析notify_agent_off触发眼镜退出当前智能体的命令2. 数据库设计为实现长期健康追踪我们在灵珠平台创建了dailyfood表用于记录用户的饮食数据字段描述uuid用户唯一标识系统默认生成food食物名称calorie卡路里热量date日期时间remark备注/健康建议数据应用这些数据不仅用于记录单次饮食还可用于后续的统计分析、趋势展示和个性化食谱推荐使智能体具备“记忆”功能。数据存储示例3. 用户隔离机制关键配置在记忆 变量中开启sys_uuid确保数据严格按用户隔离避免信息“串台”实现真正的“私人定制”健康助手为数据个性化提供基础开发小贴士在编排逻辑中明确要求 AI 输出特定的数据库操作指令例如操作类型: {写入/查询/统计} | 对应数据: {food:..., calorie:...}三、交互体验优化针对眼镜端的设计AR 眼镜的交互场景要求极高的效率和简洁度因此我们从以下几个方面优化用户体验1. 开场白设计优化后的开场白“欢迎使用食光记我是您的专属 AI 营养师。请戴上智能眼镜对准眼前的食物说一声‘记一下’我将立即为您识别营养成分并记录到个人健康档案中。”2. 预置问题为引导用户快速上手设置以下预置问题“记一下看看这顿午饭有多少热量”“我今天的蛋白质摄入达标了吗”“最近一周我的饮食趋势怎么样”3. 问题建议策略上下文关联问题应与上一轮回复紧密相关引发进一步讨论避免重复不推荐与已提问或回答过的内容重复的问题简洁明确每句话只包含一个问题或指令能力匹配推荐智能体有能力回答的问题流程引导若未自动写入数据库及时提醒用户确认四、实测效果演示交互流程示例用户指令戴上眼镜看向面前的汉堡“我的午饭有多少大卡”智能体响应自动调用拍照插件获取图像识别双层牛肉汉堡含芝士、酸黄瓜、生菜、酱料、芝麻面包卡路里估算约 827 千卡数据库状态待确认记录眼镜反馈在视野右上方弹出简洁的 Markdown 表格显示热量摘要五、总结与展望项目价值“食光记”智能体是一个基于 Rokid 灵珠平台的健康管理解决方案通过以下方式为用户创造价值实时识别利用眼镜摄像头即时拍摄并识别食物智能估算通过大模型精准计算热量及营养成分数据管理自动记录饮食数据建立个人健康档案个性化建议基于历史数据提供营养均衡的饮食建议技术创新相比传统 AR 应用开发本项目展现了显著优势开发效率无需编写复杂的视觉识别算法通过大模型能力快速实现功能集成智能体 大模型 数据库的组合实现完整的健康管理闭环用户体验解放双手的语音交互符合 AR 眼镜的使用场景未来发展方向情感化交互结合 Lyria 3 语音模型让 AI 营养师拥有更自然、富有情感的语音交互能力多模态融合结合定位插件在超市购物时主动提示商品是否符合个人减脂计划集成运动数据实现饮食与运动的平衡管理个性化推荐基于用户历史饮食数据智能推荐符合个人口味和健康目标的食谱社交功能支持与家人朋友共享健康饮食计划形成健康生活社区通过不断创新和优化“食光记”有望成为 AR 时代个人健康管理的标杆应用为用户带来全新的数字化健康体验。