一、实验背景1.1 实验目的本次实验旨在熟悉助睿零代码数据集成平台ETL 平台的核心功能和操作方法具体包括掌握新建转换、添加组件、执行转换等基本操作流程熟悉表输入、记录集连接、字段选择、过滤记录、Excel 输出等常用组件的配置方法理解多表关联、数据过滤与分流处理的 ETL 设计思路通过本次实验学生能够独立使用助睿平台完成常见的数据加工任务为后续更复杂的数据处理场景打下基础。1.2 实验环境零代码在线实验平台本次实验使用助睿数智Uniplore作为一站式数据科学平台。该平台覆盖从数据接入、ETL 处理、机器学习建模到可视化展示的全链路零代码功能适用于数据分析教学与企业数据加工场景。产品官网为 https://www.uniplore.com/本次实验的访问地址为https://www.guilan.cn/数据库MySQL数据准备订单表business_anaylsis.order_detail、产品表business_anaylsis.product。1.3 业务场景在企业经营分析中经常需要将多张表关联起来计算利润并按利润正负对订单进行分类存储。本实验以订单利润分流为例通过零代码拖拽方式完成这一数据处理任务。1.4 数据加工流程订单明细表与产品信息表进行左外连接移除重复字段按利润是否大于等于零进行分流最后分别输出盈利订单和亏损订单到两个Excel文件。二、实验步骤2.1 登录实验平台前往实验地址https://www.guilan.cn/点击登录跳转到登录网页https://passport.guilan.cn/从贵兰在线进入实验平台可以自动登录登录成功后进入实验平台首页2.2基本概念认知助睿一站式大数据平台中的数据集成平台通过可视化方式做数据ETL抽取、转换、加载核心术语说明如下概念说明Pipeline转换面向数据流处理数据的一个功能单元由多个 Transform 组成Workflow作业面向任务完成一件完整的事由多个 Action 组成必须包含开始项Transform步骤转换内的最小单元如 “Excel 输入”、“字段选择”每个步骤独立线程运行Action任务项作业的执行单位如 “启动”、“发送邮件”Hops节点连接数据传输通道连接步骤或任务项2.3团队管理组长可以创建该小组的团队方便团队实验作业的管理流程如下进入实验平台选择数据集成进入该页面点击‘团队管理’菜单并点击‘新增团队’完成团队创建创建成功后点击团队卡片右上角的‘更多’选择‘添加成员’输入手机号查询组员勾选后点击’添加‘即可完成成员配置2.4创建实验项目平台提供默认项目可以使用默认项目进行实验但为了方便管理可以为课程创建专属项目操作如下选择项目所属团队个人团队 / 自定义团队点击‘新建项目’输入项目名称后点击‘确定’创建成功后即在数据集成页面看到新创建的项目2.5同步数据源项目创建完成后需同步实验所需数据源操作流程如下点击目标项目卡片右上角的「…」按钮在弹出菜单中选择「打开项目」即可进入项目主页面。进入项目后左侧导航栏包含三大核心功能模块本次实验将重点使用资源库与文件库功能说明如下模块核心功能说明资源库工作流的全流程管理中心支持工作流的新建 / 编辑 / 删除 / 信息查看、工作空间的导入导出、任务调度管理等操作。文件库统一文件存储容器用于存放工作流运行依赖的源文件以及工作流执行后生成的结果文件。元数据管理数据集成的底层配置基石可对工作流依赖的运行环境进行配置包括运行参数、数据库连接、Flink 集群信息等。首先获取本次的实验数据集点击‘源数据’右键‘关系数据库’点击‘同步数据源’切换‘文件库’菜单再切换回到元数据已经成功同步的数据库‘线上公告数据源’2.6新建转换流本实验将构建「订单利润分流处理」转换流实现订单数据与产品信息的关联整合并根据订单利润的正负属性将数据分流为 “盈利订单” 与 “亏损订单” 两类最终分别输出至两个独立的 Excel 文件。核心处理流程组件功能说明组件名称功能说明表输入订单 / 产品读取订单明细表、产品信息表的原始业务数据记录集连接以产品 ID 为关联键对订单明细表与产品信息表执行左外连接实现数据关联字段选择移除连接后重复的 ID 字段完成数据清洗与字段规整过滤记录基于利润正负条件将数据分流为两类盈利订单利润≥0、亏损订单利润 0Excel 输出将分流后的盈利订单、亏损订单数据分别写入独立的 Excel 文件转换流创建操作步骤切换至「资源库」模块右键点击根目录选择「新建转换流」完成转换流的初始化创建。输入转换流名字 ‘订单利润分流处理’点击‘确定’创建成功后进入转换流设计页面转换流设计页面每次打开都是锁定状态需要解锁后才可编辑转换流点击图标进行解锁2.7添加组件在建立转换任务后可添加相应操作组件到转换任务中。下面以订单数据business_anaylsis.order_detail)和产品信息数据(business_anaylsis.product生成盈利订单数据和亏损订单数据为例来构建转换任务按如下顺序向转换中添加组件2.7.1添加表输入组件本次实验需要将两类数据进行合并计算所以需要添加2个表输入组件读取2个不同表的数据。点击“组件库”由于组件库的组件数量较多可以通过关键字搜索快速获取在搜索输入框中输入“表输入”即可查询到”表输入”组件拖拽表输入组件至画布中再次拖拽表输入组件拖拽至画布中即拖拽2个表输入组件至画布中右键表输入组件点击“编辑组件”修改步骤名称中为订单_详细订单点击“确认”此时画布中的对应表输入组件被命名为“订单__详细订单”同样的另一表输入组件修改为订单__产品信息2.7.2添加记录集连接组件使用表输入组件读取数据后需要通过记录集连接组件将表输入组件的数据进行关联。在搜索输入框中输入“记录集连接”将记录集连接组件拖拽至画布中创建两个表输入组件到记录集连接组件的连接线2.7.3添加字段选择组件两个表数据进行连接后会出现重复的字段”产品ID”。我们可以通过”字段选择”组件移除这个多余字段。在搜索输入框中输入“字段选择”将字段选择组件拖拽至画布中将字段选择组件名字修改为”移除产品ID_1字段”创建记录集连接组件到字段选择组件的连接线2.7.4添加过滤记录组件本次实验是根据订单的利润情况对订单进行分流。使用“过滤记录”组件可以根据记录中某个字段的值进行记录分流。在搜索输入框中输入“过滤记录”拖拽过滤组件至画布中创建字段选择组件到过滤记录组件的连接线在选择连接线的弹窗中点击“主输出步骤”。由于在进行字段选择操作时可能有记录不满足要求导致记录被标记为错误。主输出步骤表示满足要求的记录通过该连接线传输数据。2.7.5添加excel输出组件记录经过“过滤记录”组件后会被分成2个记录流。我们可以根据业务需求将2个记录流输出到指定位置文件、数据库表。在本次实验中我们选择将记录输出到Excel文件中。在搜索输入框中输入excel输出”将2个表输出组件拖拽至画布中2个excel输出组件分别命名为”盈利订单”和”亏损订单”并创建过滤记录组件到两个excel输出组件的连接线在选择连接线类型的弹窗中分别选择”True输出”和”False输出”“True输出”表示满足过滤条件的记录输出。“False输出”表示不满足过滤条件的记录输出。至此一个完整的转换任务流程构建完毕2.8配置组件信息组件添加完成后需要对其进行相应配置。2.8.1表输入组件配置双击订单_详细订单表输入组件弹出组件配置页面。在数据库连接下拉框中选择已同步的”线上公共数据源(Readonly)点击“获取SQL查询语句”自动生成SQL查询语句。下滑找到business_anaylsis.order再点击”确定”在系统提示弹窗中点击“确认”系统自动填写了完整的SQL查询语句点击“确认”。当自动生成的SQL语句无法满足业务需求时也可以通过在文本框输入自定义SQL语句。表输入组件的其他配置参数保持默认即可另一个订单_产品信息表输入也参考上述配置获取”business_anaylsis.product”的SQL查询语句2.8.2记录集连接组件配置双击记录集连接组件在下拉列表中选择需要连接的数据来源第一个Transform选择订单_详细订单第二个Transform选择订单_产品信息连接类型选择LEFT OUTER点击第一个Transform的连接字段中的”获得连接字段”按钮即可获取表输入组件在订单_详细订单的查询到的字段同样的获取第二个Transform的连接字段第一个Transform字段保留produc_id第二个Transform的字段保留id连接类型选择LEFTOUTER表示使用订单_详细订单的字段produc_id与订单产品信息的字段id进行左外连接第一个Transform字段中除了produc_id外的其他字段右键点击“删除选中的行”第一个Transform字段中除了id外的其他字段右键点击”删除选中的行”2.8.3字段选择组件配置通过记录集连接后我们可以发现字段produc_id与字段id内容相同只需要保留一个因此需要使用”移除产品ID_1字段”字段选择组件的移除选项移除字段id具体操作如下双击”移除产品ID_1字段”字段选择组件点击“移除”。并点击“获取字段”在获取的字段中选中除”id”字段以外的字段右键点击“删除选中的行”点击确认2.8.4过滤记录组件配置根据业务需求需要将盈利订单和亏损订单分开存储两个订单可以使用字段利润来区分双击“过滤记录”组件在弹窗中的下拉列表中选择将结果发送给不同的后续处理步骤选择字段**利润profit**来作为判断字段选中”profit(Number)”后点击”确定”选择 作为判断条件点击‘’点击确定点击‘value’值类型选择‘Integer’值输入‘0’点击确定过滤条件已配置完成点击‘确定’2.8.5Excel输出组件配置将接收到的结果写入到Excel表中双击”盈利订单”excel表输出组件在配置弹窗中文件名修改为”盈利订单”选择文件拓展名”xlsx[Excel2007andabove]”在配置弹窗中点击“输出字段”在空白表格处右键点击“获取字段”字段获取后点击‘确认’‘亏损订单’的excel组件也进行同样的设置2.9 执行转换组件配置完成后可执行转换任务点击启动按钮在弹出的窗口中点击‘启动’执行成功2.10查看执行日志任务执行过程中会将相关操作记录到日志中任务执行完毕后可查看执行结果及日志2.11查看结果点击”文件库”右键根目录刷新可以看到转换任务的输出结果盈利订单和亏损订单可以右键下载查看三、实验结果输出文件内容说明盈利订单.xlsxprofit ≥ 0 的订单可进一步分析高利润产品亏损订单.xlsxprofit 0 的订单可用于亏损原因追踪实验成功实现了订单数据的关联与分流处理为后续的盈利分析提供了规范的数据基础。四、问题与解决4.1Excel输出组件因文件名相同导致执行报错解决方法配置完两个Excel输出组件后执行转换系统报错。检查发现两个组件的默认输出文件名都是”file”没有修改。两个输出步骤使用了相同的文件名导致平台无法区分。将盈利订单和亏损订单的“文件名”分别修改为”盈利订单”和”亏损订单”后重新执行正确。4.2找不到组件连接线解决方法当需要连接两个组件却找不到连接线入口时可将鼠标悬停在源组件的边缘位置待光标变为十字形连接标识后按住鼠标左键拖动至目标组件松开即可完成组件间的连接。五、实验总结本次助睿零代码 ETL 平台订单利润分流数据加工实验完整完成了从数据源同步、转换流搭建、组件配置到数据分流输出的全流程实操达成了预设实验目标。熟练掌握平台核心操作可独立完成转换流新建、组件拖拽添加、组件连线、参数配置、转换执行、结果查看与下载等基础操作熟悉表输入、记录集连接、字段选择、过滤记录、Excel 输出等常用组件的功能与配置方法。理解 ETL 数据加工逻辑掌握多表左外连接、重复字段清洗移除、按业务条件利润正负数据分流、结果文件分类输出的完整数据处理思路理解零代码数据集成的核心流程。提升实操问题解决能力成功解决Excel 输出文件名重复报错、找不到组件连接线两类实操问题。完成实验业务目标实现订单表与产品表的数据关联按利润条件完成数据分流成功输出盈利订单.xlsx和亏损订单.xlsx两个结果文件。