RKNPU2 & Yolo-v5 集成文档

导出 rknn 模型的指南

请参考此链接：https://github.com/airockchip/rknn_model_zoo/tree/main/models/CV/object_detection/yolo

注意事项

1. 使用的rknn-toolkit2版本需大于或等于1.4.0；
2. 如果使用自己训练的模型，需要注意对齐后处理的参数，如锚点（anchor），否则会导致后处理分析错误；
3. 官方网站和 rk 预训练模型都检测 80 种目标。如果自己训练模型，需要更改 include/postprocess.h 中的 OBJ_CLASS_NUM 和 NMS_THRESH、BOX_THRESH 等后处理参数。
4. 演示需要支持 librga.so，请参考 https://github.com/airockchip/librga 进行编译和使用
5. 由于硬件限制，演示模型默认将 yolov5 模型的后处理部分移至 cpu 实现。附带的模型均使用 ReLU 作为激活函数。与 silu 相比，精度稍低，但性能大幅提升。

Aarch64 Linux 演示

编译 && 构建

根据目标平台，修改 ‘build-android_<TARGET_PLATFORM>.sh’ 中的 ‘TOOL_CHAIN’ 路径。例如：

复制代码

export TOOL_CHAIN=~/opt/tool_chain/gcc-9.3.0-x86_64_aarch64-linux

然后运行脚本

复制代码

./build-linux_<TARGET_PLATFORM>.sh

将所有构建输出文件推送到主板

将 install/rknn_yolov5_demo_Linux 推送到主板：

• 使用 scp 或其他不同的方法将 install/rknn_yolov5_demo_Linux 下的所有文件推送到 ‘/userdata’

运行

cd /userdata/rknn_yolov5_demo_Linux/

export LD_LIBRARY_PATH=./lib
./rknn_yolov5_demo model/<TARGET_PLATFORM>/yolov5s-640-640.rknn model/bus.jpg

注意：如果找不到 libra.so 文件，请尝试查找其位置并将其添加到 LD_LIBRARY_PATH 中。可以使用以下命令将其添加到 LD_LIBRARY_PATH 中：

export LD_LIBRARY_PATH=./lib:<LOCATION_LIBRGA.SO>

视频演示 demo

H264

./rknn_yolov5_video_demo model/<TARGET_PLATFORM>/yolov5s-640-640.rknn xxx.h264 264

通过ffmpeg将xxx.mp4转换为h264：

ffmpeg -i xxx.mp4 -vcodec h264 out.h264

H265

./rknn_yolov5_video_demo model/<TARGET_PLATFORM>/yolov5s-640-640.rknn xxx.hevc 265

通过ffmpeg将xxx.mp4转换为h265：

ffmpeg -i xxx.mp4 -vcodec hevc out.hevc

RTSP

./rknn_yolov5_video_demo model/<TARGET_PLATFORM>/yolov5s-640-640.rknn <RTSP_URL> 265

官方文档地址

官方文档地址