Sum【免费下载链接】asc-devkit本项目是CANN 推出的昇腾AI处理器专用的算子程序开发语言原生支持C和C标准规范主要由类库和语言扩展层构成提供多层级API满足多维场景算子开发诉求。项目地址: https://gitcode.com/cann/asc-devkit产品支持情况产品是否支持Ascend 950PR/Ascend 950DT√Atlas A3 训练系列产品 / Atlas A3 推理系列产品√Atlas A2 训练系列产品 / Atlas A2 推理系列产品√Atlas 200I/500 A2 推理产品xAtlas 推理系列产品 AI Core√Atlas 推理系列产品 Vector CorexAtlas 训练系列产品xKirin X90√Kirin 9030√功能说明获取最后一个维度的元素总和。如果输入是向量则在向量中对各元素相加如果输入是矩阵则沿最后一个维度对每行中元素求和。本接口最多支持输入为二维数据不支持更高维度的输入。如下图所示对shape为(2, 3)的二维矩阵进行运算输出结果为[6, 15]。为计算如上过程引入一些必备概念行数称之为外轴长度outter每行实际的元素个数称之为内轴的实际元素个数n存储n个元素所需的字节长度向上补齐到32整数倍后转换的元素个数称之为补齐后的内轴元素个数(inner)。本接口要求输入的内轴长度为32字节的整数倍所以当n占据的字节长度不是32的整数倍时需要开发者将其向上补齐到32的整数倍。比如如下的样例中元素类型为half每行的实际元素个数n为3占据字节长度为6字节不是32字节的整数倍向上补齐后得到32字节转换为元素个数为16。故outter 2n 3inner16。图中的padding代表补齐操作。n和inner的关系如下inner (n *sizeof(T) 32 - 1) / 32 * 32 / sizeof(T)。函数原型通过sharedTmpBuffer入参传入临时空间template typename T, int32_t reduceDim -1, bool isReuseSource false, bool isBasicBlock false __aicore__ inline void Sum(const LocalTensorT dstTensor, const LocalTensorT srcTensor, const LocalTensoruint8_t sharedTmpBuffer, const SumParams sumParams)接口框架申请临时空间template typename T, int32_t reduceDim -1, bool isReuseSource false, bool isBasicBlock false __aicore__ inline void Sum(const LocalTensorT dstTensor, const LocalTensorT srcTensor, const SumParams sumParams)由于该接口的内部实现中涉及复杂的数学计算需要额外的临时空间来存储计算过程中的中间变量。临时空间支持开发者通过sharedTmpBuffer入参传入和接口框架申请两种方式。通过sharedTmpBuffer入参传入使用该tensor作为临时空间进行处理接口框架不再申请。该方式开发者可以自行管理sharedTmpBuffer内存空间并在接口调用完成后复用该部分内存内存不会反复申请释放灵活性较高内存利用率也较高。接口框架申请临时空间开发者无需申请但是需要预留临时空间的大小。通过sharedTmpBuffer传入的情况开发者需要为tensor申请空间接口框架申请的方式开发者需要预留临时空间。临时空间大小BufferSize的获取方式如下通过GetSumMaxMinTmpSize中提供的接口获取需要预留空间范围的大小。参数说明表 1模板参数说明参数名描述T操作数的数据类型。支持的数据类型为half、float。reduceDim用于指定按数据的哪一维度进行求和。本接口按最后一个维度实现不支持reduceDim参数传入默认值-1即可。isReuseSource是否允许修改源操作数。该参数预留传入默认值false即可。isBasicBlock预留参数暂不支持。表 2接口参数说明参数名输入/输出描述dstTensor输出目的操作数。类型为LocalTensor支持的TPosition为VECIN/VECCALC/VECOUT。输出值需要outter * sizeof(T)大小的空间进行保存。开发者要根据该大小和框架的对齐要求来为dstTensor分配实际内存空间。说明注意遵循框架对内存开辟的要求开辟内存的大小满足32Byte对齐即outter * sizeof(T)不是32Byte对齐时需要向上进行32Byte对齐。为了对齐而多开辟的内存空间不填值为一些随机值。srcTensor输入源操作数。类型为LocalTensor支持的TPosition为VECIN/VECCALC/VECOUT。源操作数的数据类型需要与目的操作数保持一致。sharedTmpBuffer输入临时缓存。类型为LocalTensor支持的TPosition为VECIN/VECCALC/VECOUT。用于Sum内部复杂计算时存储中间变量由开发者提供。临时空间大小BufferSize的获取方式请参考GetSumMaxMinTmpSize。sumParams输入srcTensor的shape信息。SumParams类型具体定义如下struct SumParams{ uint32_t outter 1; // 表示输入数据的外轴长度 uint32_t inner; // 表示输入数据内轴的补齐后元素个数inner*sizeof(T)必须是32字节的整数倍 uint32_t n; // 表示输入数据内轴的实际元素个数 };sumParams.inner*sizeof(T)必须是32字节的整数倍。sumParams.inner是sumParams.n字节数转换后进而进行32的整数倍向上补齐的值inner (n *sizeof(T) 32 - 1) / 32 * 32 / sizeof(T)因此sumParams.n的大小应该满足1 sumParams.n sumParams.inner。返回值说明无约束说明操作数地址对齐要求请参见通用地址对齐约束。不支持源操作数与目的操作数地址重叠。不支持sharedTmpBuffer与源操作数和目的操作数地址重叠。当前仅支持ND格式的输入不支持其他格式。一维输入的outter值填为1二维输入按实际情况填写outter和ninner计算请按如上公式计算否则功能不正确。srcTensor需要能够容纳内轴对齐后的数据占用空间大小dstTensor需要能够容纳outter个结果对齐后的数据占用空间大小。对于Sum其内部使用的底层相加方式和ReduceSum以及WholeReduceSum的内部的相加方式一致采用二叉树方式两两相加假设源操作数为128个half类型的数据[data0,data1,data2...data127]一个repeat可以计算完计算过程如下。data0和data1相加得到data00data2和data3相加得到data01...data124和data125相加得到data62data126和data127相加得到data63data00和data01相加得到data000data02和data03相加得到data001...data62和data63相加得到data031以此类推得到目的操作数为1个half类型的数据[data]。调用示例// 定义srcTensor的shape信息输入元素类型为half大小为2*3的二维数据 AscendC::SumParams params; // m为2, outter等于m的值 params.outter outter; // n为3 params.n n; // inner (n * sizeof(half) 32 - 1)/32 * 32 / sizeof(half) 16 params.inner inner; // 填充时的值 T scalar(0); // yLocal填充为0out_inner是2向上16取整到的值为16计算方法参考inner AscendC::DuplicateT(yLocal, scalar, out_inner); // 对shape为(2, 3)的二维矩阵进行运算输出结果为[6, 15] // xLocal和yLocal中的0是计算时padding的值 AscendC::Sum(yLocal, xLocal, sharedTmpBuffer, params);结果示例如下。输入数据srcLocal: [[1 2 3 0 0 0 0 0 0 0 0 0 0 0 0 0], [4 5 6 0 0 0 0 0 0 0 0 0 0 0 0 0]] 输出数据dstLocal: [6 15 0 0 0 0 0 0 0 0 0 0 0 0 0 0]【免费下载链接】asc-devkit本项目是CANN 推出的昇腾AI处理器专用的算子程序开发语言原生支持C和C标准规范主要由类库和语言扩展层构成提供多层级API满足多维场景算子开发诉求。项目地址: https://gitcode.com/cann/asc-devkit创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考