【HCIA-AI笔记(微认证1)】2.7 应用使能套件
课程目标与套件内容学习目标了解昇腾应用使能集中包含的工具及工具组件的具体功能。套件内容包括慢的SDK含视觉、特征检索、推荐搜索、知识增强4种SDK、mind cluster集群使能工具组件、mindedge端边设备使能组件、maaspeed训练加速工具库、Mandaie推理引擎还有model Zoo模型库。Mona cluster组件作用帮助维护硬件设施对AI应用开发或模型训练推理所需的硬件设备进行管理。具体功能包含运维监控、作业调度、故障恢复等通过MPI对第三方深度学习平台使用的昇腾算力硬件设备进行维护管理具体分为安装部署、性能测试、故障诊断、集群调度维护。Model Zoo模型库模型情况有众多预训练好的模型涉及计算机视觉、自然语言处理等多领域有小模型和大模型可直接使用、二次训练或微调。使用方式可进行一站式模型开发或直接体验一键下载SOTA模型使用提供全流程开发工具支持模型在昇腾设备运行可通过model show可视化工具查看模型训练效果。在线体验基于库中模型部署成在线应用供用户体验。工具库包括昇腾镜像仓库可拉取Docker镜像快速部署环境、自动迁移工具适配昇腾平台、数据采集和分析工具采集模型训练数据、精度对比工具针对模型推理测试精度。Mindedge组件功能提供边缘AI业务基础组件管理和边缘AI业务容器全生命周期管理提供节点看管、日志采集、统一运维能力和严格安全保证服务为客户提供边缘云与数据中心协同的边缘计算解决方案。结构纵向分为边缘协同和设备管理两部分横向为端边云三部分云侧通过MEF center实现容器应用管理等边侧通过MEF age实现边缘节点监控等OMSDK是开发态组件辅助第三方管理机构构建管理系统。应用使能的SDK部分视觉的vision SDK用于视觉分析在交通运营商等领域规模使用适配城市治理等场景提供CV加速算法、VPP图像处理等功能具有高性能视频分析、轻量化应用开发、丰富参考设计的特性。特征检索的SDK应用于大规模特征检索聚类场景提供全量检索、近似检索等功能具有高性能检索算法、大容量特征库、多样化过滤筛选的特点在安平互联网领域大规模应用。推荐搜索的SDK提供样本处理加速等功能具有模型任务易迁移跨平台迁移算法零改动、支持大规模训练embedding多级存储资源利用高效支持分布式训练训练模型稀疏参数可达100TB以上的特性。RAG SDK知识增强部分应用于大模型知识增强场景提供轻量化应用开发模块化、功能化接口搭建问答服务应用、知识库灵活管理支持文档切分和多模态数据解析、高性能向量检索缩短查询向量数据库时间的功能。推理引擎Mindie作用华为昇腾针对AI全场景业务推出的推理加速套件通过分层开放的AI能力支持用户多样化AI业务需求释放昇腾设备硬件算力。结构包括推理服务Mindie service、相关推理套件大语言模型等场景组件、AI框架部分、推理运行时部分向上支持多种主流AI框架向下对接昇腾AI处理器提供多层次编程接口提升推理业务效率。思考题题目以下属于昇腾应用使能组件的有哪些选项。答案Mindcluster用于集群维护管理、Mindedge用于管理边缘侧设备、Mind SDK进行应用使能而昇腾AI的异构计算架构不属于使能组件。