1. rknn-toolkit-lite2介绍RKNN-Toolkit-Lite2 是瑞芯微Rockchip专为旗下RK系列芯片如RV1126B、RK3576、RK3588等打造的轻量级 AI 模型部署工具包聚焦边缘 / 嵌入式设备的模型推理场景。它无需复杂的环境依赖占用系统资源极少核心功能是加载并运行经 RKNN 工具链转换后的AI模型支持TensorFlow、PyTorch等主流框架导出模型的适配。该工具包提供C/C、Python双语言API接口简洁易用还针对RK芯片的NPU硬件加速做了深度优化能显著提升模型推理效率。适用于智能安防、物联网、消费电子等边缘AI场景帮助开发者快速实现模型的端侧部署大幅降低嵌入式AI开发门槛。rknn-toolkit-lite2当前已经在EASY-EAI-Nano-TB完成适配用户可以用它进行深度学习算法的纯python开发。而且同时支持已经进行了预编译的模型短短几行代码即可完成算法的推理大幅降低开发成本。同时很多不熟悉C/C的算法开发人员有效降低开发门槛。本地文档是根据已经完成rknn模型转换的模型进行板卡上的推理关于rknn模型转换请阅读请阅读《在EASY EAI Nano运行自定义的AI算法》。2. 环境搭建2.1 安装git工具sudo apt update sudo apt install git2.2 安装miniforge3工具为防止系统对多个不同版本的 Python 环境的需求建议使用 miniforge3 管理 Python 环境。 检查是否安装miniforge3和 conda 版本信息若已安装则可省略此小节步骤。下载 miniforge3 安装包cd /userdata wget https://github.com/conda-forge/miniforge/releases/latest/download/Miniforge3-Linux-aarch64.sh若安装速度慢可以进行网盘下载通过网盘分享的文件Miniforge3安装miniforge3chmod 777 Miniforge3-Linux-aarch64.sh bash Miniforge3-Linux-aarch64.sh2.3 创建Conda环境进入Conda base环境source ~/miniforge3/bin/activate创建一个Python3.8版本建议版本名为RKNN-Toolkit-lite2的Conda环境conda create -n RKNN-Toolkit-lite2 python3.8进入 RKNN-Toolkit Conda 环境conda activate RKNN-Toolkit-lite2退出Conda环境conda deactivate删除Conda环境conda remove -n RKNN-Toolkit-lite2 --all2.4 安装RKNN-Toolkit-Lite2和Opencv库网盘下载rknn_toolkit_lite2-2.3.2-cp38-cp38-manylinux_2_17_aarch64.manylinux2014_aarch64.whlpip install rknn_toolkit_lite2-2.3.2-cp38-cp38-manylinux_2_17_aarch64.manylinux2014_aarch64.whlpip install opencv-python3. 在板卡测试demo下载百度网盘rknn-toolkit-lite2“测试程序inference_with_lite2.tar.bz2”把文件传到EASY-EAI-Nano-TB板卡目录上。执行以下指令进行解压:tar -xvf inference_with_lite2.tar.bz2执行以下指令切换目录并执行测试程序:cd /userdata/inference_with_lite/ python test.py结果如下所示:4. rknn-toolkit-lite2流程说明4.1 使用流程图RKNN Tookit Lite2使用流程如下:4.2 例程第三小节的例程如下所示:# -*- coding: utf-8 -*- import cv2 import numpy as np from rknnlite.api import RKNNLite # 配置项根据你的实际情况修改 RKNN_MODEL_PATH 10class_ResNet50_rv1126b.rknn # 你的RKNN模型路径 TEST_IMAGE_PATH ./test-1.jpg # 测试图片路径 INPUT_SHAPE (224, 224) # 模型输入尺寸必须和转换模型时一致 INPUT_CHANNELS 3 # 输入通道数 CLASSES (SUV, bus, family sedan, fire engine, heavy truck, jeep, minibus, racing car, taxi, truck) # 核心函数 def preprocess_image(image_path, input_shape): 图像预处理读取→转RGB→缩放→扩展维度→转NCHW→类型转换 返回4维NCHW格式的输入张量 # 1. 读取图像 img cv2.imread(image_path) if img is None: raise ValueError(f无法读取图片{image_path}请检查路径是否正确) print(f原始图像shape: {img.shape}) # 打印原始维度H,W,C # 2. BGR转RGBOpenCV默认BGR模型训练一般用RGB img_rgb cv2.cvtColor(img, cv2.COLOR_BGR2RGB) print(fRGB转换后shape: {img_rgb.shape}) # 3. 缩放到模型输入尺寸 img_resized cv2.resize(img_rgb, input_shape) print(f缩放后shape: {img_resized.shape}) # (224,224,3) # 4. 扩展为4维关键增加batch维度N1 img_4d_nhwc np.expand_dims(img_resized, axis0) print(f扩展batch维度后shape (NHWC): {img_4d_nhwc.shape}) # (1,224,224,3) # 5. 转换为NCHW格式模型日志显示framework layout: NCHW img_4d_nchw np.transpose(img_4d_nhwc, (0, 3, 1, 2)) print(f转换为NCHW后shape: {img_4d_nchw.shape}) # (1,3,224,224) # 6. 类型转换RKNN Lite2推荐float32或uint8根据模型量化类型调整 img_input img_4d_nchw.astype(np.float32) print(f最终输入shape: {img_input.shape}, 类型: {img_input.dtype}) return img_input def softmax(x): softmax归一化将输出转为概率 x x - np.max(x) # 防止数值溢出 return np.exp(x) / np.sum(np.exp(x)) def predict(rknn_lite, input_tensor): 模型推理显式指定输入格式 try: # 显式指定data_format为NCHW关键告诉RKNN Runtime输入格式 outputs rknn_lite.inference( inputs[input_tensor], data_formatnchw # 强制指定输入格式避免自动识别错误 ) return outputs except Exception as e: print(f推理失败{str(e)}) return None # 主程序 if __name__ __main__: # 1. 初始化RKNN Lite rknn_lite RKNNLite() print(-- 加载RKNN模型) ret rknn_lite.load_rknn(RKNN_MODEL_PATH) if ret ! 0: print(f加载模型失败错误码{ret}) exit(ret) print(模型加载完成) # 2. 初始化运行时环境核心修改移除target参数自动识别硬件 print(-- 初始化运行时) ret rknn_lite.init_runtime() # 去掉target让系统自动识别RV1126B if ret ! 0: print(f运行时初始化失败错误码{ret}) exit(ret) print(运行时初始化完成) # 3. 图像预处理强制生成4维输入 print(-- 图像预处理) try: input_tensor preprocess_image(TEST_IMAGE_PATH, INPUT_SHAPE) except ValueError as e: print(e) exit(1) # 4. 模型推理 print(-- 执行推理) outputs predict(rknn_lite, input_tensor) if outputs is None or len(outputs) 0: print(推理无输出) rknn_lite.release() exit(1) # 5. 解析结果 print(\n-- 推理结果解析) output outputs[0][0] # 取第一个输出的第一个batch prob softmax(output) max_idx np.argmax(prob) print(f预测类别{CLASSES[max_idx]}) print(f置信度{prob[max_idx]:.4f}) # 6. 释放资源 rknn_lite.release() print(\n所有操作完成)5. API详细说明5.1 RKNNLite2初始化及对象释放在使用RKNN Toolkit Lite2时都需要先调用RKNNLite()方法初始化一个RKNNLite对象并在用完后调用该对象的release()方法将资源释放掉。初始化RKNNLite对象时可以设置verbose和verbose_file参数以打印详细的日志信息。其中verbose参数指定是否要在屏幕上打印详细日志信息如果设置了verbose_file参数且verbose参数值为True日志信息还将写到这个参数指定的文件中。举例如下# 将详细的日志信息输出到屏幕并写到inference.log文件中 rknn_lite RKNNLite(verboseTrue, verbose_file./inference.log) # 只在屏幕打印详细的日志信息 rknn_lite RKNNLite(verboseTrue) … rknn_lite.release()5.2 加载RKNN模型举例如下# 从当前目录加载 ResNet50模型 ret rknn_lite.load_rknn(10class_ResNet50_pre.rknn)5.3 初始化运行时环境在模型推理之前必须先初始化运行时环境确定模型在哪一个芯片平台上运行。举例如下:# init runtime environment print(-- Init runtime environment) ret rknn_lite.init_runtime(targetNone) if ret ! 0: print(Init runtime environment failed) exit(ret) print(done)5.4 模型推理举例如下:以分类模型为例如 resnet50代码如下完整代码参考第三小节)# Inference print(-- Running model) outputs rknn_lite.inference(inputs[resize_img]) print(outputs[0]:, outputs[0]) print(outputs[0].shape:, outputs[0].shape) show_outputs(softmax(np.array(outputs[0][0])))5.5 查询 SDK 版本举例说明:# 获取 SDK 版本信息 …… sdk_version rknn_lite.get_sdk_version() ……返回的 SDK 信息如下