水表数字识别2：Pytorch DBNet实现水表数字检测(含训练代码和数据集)

  • 开发
  • 22

水表数字识别2：Pytorch DBNet实现水表数字检测(含训练代码和数据集)

目录

水表数字识别2：Pytorch DBNet实现水表数字检测(含训练代码和数据集)

1.前言

2. 水表数字识别的方法

3. 水表数字识别数据集

4. 水表数字分割模型训练

（1）项目安装

（2）构建Train和Test水表数据集

（3）构建模型

（4）修改配置文件：configs/config_labelme_db.yaml

（5）开始训练

（6）可视化训练过程

5. 水表数字识别模型训练

6. 水表数字检测效果（Python版本）

7. 水表数字检测效果（Android版本）

8. 水表数字分割项目源码下载

（1）水表数字分割(推理版本)

（2）水表数字分割(训练版本)

1.前言

本项目将实现水表数字识别，整套方案采用二阶段方法实现，即首先使用文本(数字)检测模型DBNet定位水表数字的区域，然后进行校正并裁剪水表数字区域，再使用CRNN模型对水表数字的区域进行文本(数字)识别。

整套项目分为：数据集说明，DBNet文本(数字)检测模型训练、CRNN文本(数字)识别模型训练，以及水表数字识别边缘侧部署C++/Android等多个章节，本篇是项目《​​​​水表数字识别》系列文章之《Pytorch DBNet实现水表数字检测》；为了方便后续模型工程化和Android平台部署，项目对文字检测模型和文字识别模型进行轻量化，并提供Python/C++/Android多个版本；

项目提供两个版本的水表数字分割模型DBNet和Fast-SCNN模型，其中DBNet参数量比较大，计算量也大，检测精度较高；Fast-SCNN是轻量化模型，参数量较小，计算量也小，但精度较小；下表格给出文本(数字)检测模型DBNet和Fast-SCNN的计算量和参数量，以及其预测结果的均方误差MSE：

模型 input-size params(M) GFLOPs MSE mIOU

DBNet

320×320

9722.27M

12.22M

0.1508

0.9333

Fast-SCNN

320×320

1.24M

939.01M

0.1997

0.9531

水表数字检测效果展示：

【尊重原创，转载请注明出处】https://blog.csdn.net/guyuealian/article/details/139998754

 更多项目《水表数字识别》系列文章请参考：

       

2. 水表数字识别的方法

传统的水表数字识别的方法主要采用字符分割的方法实现字符识别，即先将水表的图像按照预定的规则将字符一个一个切割，并按照模式匹配的方法识别字符；显然该方法效率低，准确率也不高。在深度学习算法中，实质上，水表数字识别也可以看成是OCR识别的技术范畴，其实现流程可先进行文本检测，然后再进行文本识别：

（1）水表(文本)数字检测：主要实现水表数字区域的定位，可以采用目标检测方案，如使用SSD、YOLO等目标模型进行水表检测，但精度较差；也可以采用分割方法，如本文使用的DBNet,Fast-SCNN等方法。Fast-SCNN是轻量化分割模型，可以部署到Android平台或者开发板上，在多线程或者GPU下，可以达到实时检测效果

（2）水表(文本)数字识别：主要实现水表数字识别，项目支持CRNN或LPRNet文本识别算法；为方便后续工程化，项目对CRNN模型进行魔改，提出一个PlateNet模型，用于支持部署到Android平台或者开发板上

3. 水表数字识别数据集

目前收集了2个水表数字的检查数据集：Water-Meter-Det1和Water-Meter-Det2，总数约6000+张图片，主要用于水表数字检测模型或分割模型训练和开发；

具体介绍，请参考:《水表数字识别1：水表数字数据集说明(含下载链接)》

4. 水表数字分割模型训练

（1）项目安装

.
├── configs             # 项目配置文件
├── segment             # 分割模型代码
├── data                # 项目相关数据
├── docs                # 一些说明文档
├── libs                # 第三方依赖库
├── output              # 运行输出结果
├── README.md           # 项目说明文档
├── demo.py             # 项目Demo测试文档
├── demo.sh             # 项目Demo测试脚本
├── train.py            # 项目训练文件
└── train.sh            # 项目训练脚本

推荐使用Python3.8或Python3.7，更低版本可能存在版本差异问题，Python依赖环境，使用pip安装即可，项目代码都在Ubuntu系统和Windows系统验证正常运行，请放心使用；若出现异常，大概率是相关依赖包版本没有完全对应

##
Cython==3.0.2
easydict==1.10
editdistance==0.6.2
efficientnet-pytorch==0.7.1
imageio==2.31.1
imgaug==0.4.0
imgviz==1.7.5
matplotlib==3.3.4
numpy==1.24.4
onnx==1.13.1
onnx-simplifier==0.4.33
onnxruntime==1.14.1
onnxruntime-gpu==1.15.1
onnxsim==0.4.33
opencv-contrib-python==4.8.1.78
opencv-python==4.8.0.76
Pillow==9.5.0
pyclipper==1.3.0.post5
pycocotools==2.0.6
PyQt5==5.13.2
PyQt5-Qt5==5.15.2
PyQt5-sip==12.13.0
PySocks==1.7.1
PythonWebHDFS==0.2.3
pytools==2023.1.1
PyYAML==6.0
QtPy==2.3.1
scikit-image==0.21.0
scikit-learn==1.2.2
scipy==1.10.1
seaborn==0.12.2
segmentation-models-pytorch==0.3.3
semantic-version==2.10.0
sentencepiece==0.1.99
stack-data==0.6.2
starlette==0.27.0
tensorboard==2.13.0
tensorboard-data-server==0.7.1
tensorboardX==2.6.1
timm==0.9.2
toolz==0.12.0
torch==1.13.1+cu117
torchaudio==0.13.1+cu117
torchinfo==1.8.0
torchstat==0.0.7
torchsummary==1.5.1
torchvision==0.14.1+cu117
tqdm==4.65.0
typing_extensions==4.6.3
transformers==4.31.0
Werkzeug==2.3.6
urllib3==1.26.16
xmltodict==0.13.0
basetrainer==0.8.4
pybaseutils==2.0.0

 项目安装教程请参考（初学者入门，麻烦先看完下面教程，配置好开发环境）：

（2）构建Train和Test水表数据集

下载水表检测数据集：Water-Meter-Det1和Water-Meter-Det2，具体介绍，请参考:《水表数字识别1：水表数字数据集说明(含下载链接)》，项目支持在该数据集直接训练，无须进行格式转换。

（3）构建模型

项目提供两个版本的水表数字分割模型DBNet和Fast-SCNN模型；DBNet属于高精度版本，参数量和计算量较大，检测精度较高，但比较耗时；Fast-SCNN模型属于轻量化版本，参数量和计算量较小，检测精度一般，速度较快，适合移动端部署。下表给出计算量和参数量：

模型 input-size params(M) GFLOPs

DBNet

320×320

9722.27M

12.22M

Fast-SCNN

320×320

1.24M

939.01M

  • Fast-SCNN：是一种快速分割卷积神经网络（Fast-SCNN），是针对高分辨率图像数据的实时语义分割模型，适用于低内存嵌入式设备上的高效计算​​​​​​。https://github.com/Tramac/Fast-SCNN-pytorch

（4）修改配置文件：configs/config_labelme_db.yaml

准备好数据好，下一步是修改配置文件configs/config_labelme_db.yaml的数据路径，其他参数默认即可：

  • 修改train_data和test_data为你自己的数据路径
  • 其他参数保持默认即可
train_data:
  - "/home/Pan/WaterMeter/Water-Meter-Det1/train/json"
  - "/home/Pan/WaterMeter/Water-Meter-Det2/train/json"
test_data: '/home/Pan/WaterMeter/Water-Meter-Det1/val/json'

class_name: [ "BACKGROUND", "unique" ]
use_rgb: False
train_transform: "db_train"
test_transform: "db_test"
data_type: "labelme_db"
target: "regress" # matting,segment
padding: False
resample: False
work_dir: "work_space/WaterMeter_regress"
net_type: "dbnet_resnet18" # dbnet_MobileNetV3,dbnet_resnet18
loss_type: "DBLoss"  # FocalLoss,CrossEntropyLoss,LabelSmoothing,MODLoss,PaddleMODLoss,SmoothL1Loss
width_mult: 1.0
flag: "sr09"
input_size: [ 320, 320 ]
rgb_mean: [ 0.5, 0.5, 0.5 ]  # for normalize inputs to [-1, 1],Sequence of means for each channel.
rgb_std: [ 0.5, 0.5, 0.5 ]   # for normalize,Sequence of standard deviations for each channel.
batch_size: 32
lr: 0.01
optim_type: "SGD"             # SGD,Adam
momentum: 0.9              # SGD momentum
num_epochs: 200
num_warn_up: 3
num_workers: 8
scheduler: "multi-step"
milestones: [ 60,130,160 ]
weight_decay: 0.0005 #5e-4
gpu_id: [ 0 ]
start_save: -1
log_freq: 10
progress: True
check: False
pretrained: False
finetune: ""

配置文件每个参数含义如下： 

参数 类型 参考值 说明
train_data str, list - 训练数据文件，可支持多个文件
test_data str, list - 测试数据文件，可支持多个文件
data_type str labelme_db 数据类型
class_name str,list - 类别文件
train_transform str train 训练数据数据处理方法
test_transform str test 测试数据数据处理方法
work_dir str work_space 训练输出工作空间
target str regress 任务，regress表示回归任务，segment是分类任务
net_type str dbnet_resnet18 骨干网络,支持dbnet_resnet18
和fast_scnn_reg等模型
intput_size list [320,320] 模型输入大小
rgb_mean list [0.5,0.5,0.5] 图像归一化均值
rgb_std list [0.5,0.5,0.5] 图像归一化方差
batch_size int 64 批训练大小
lr float 0.001 初始学习率大小
optim_type str Adam 优化器，{SGD,Adam}
milestones list [30,80,100] 降低学习率的节点
momentum float 0.9 SGD动量因子
num_epochs int 200 循环训练的次数
num_workers int 8 DataLoader开启线程数
weight_decay float 5e-4 权重衰减系数
gpu_id list [ 0 ] 指定训练的GPU卡号，可指定多个
log_freq int 10 显示LOG信息的频率
pretrained str model.pth pretrained的模型

（5）开始训练

整套训练代码非常简单操作，项目源码已经给出DBNet和Fast-SCNN模型配置文件；用户配置好Python环境，只需要修改好配置文件的的数据路径，即可开始训练了。

  • 训练DBNet模型
python train.py -c  configs/config_labelme_db.yaml
  • 训练Fast-SCNN模型
python train.py -c  configs/config_labelme_reg.yaml

（6）可视化训练过程

训练过程可视化工具是使用Tensorboard，使用方法：

# 基本方法
tensorboard --logdir=path/to/log/
# 例如（请修改自己的训练的模型路径）
tensorboard --logdir work_space/WaterMeter_regress/regress_dbnet_resnet181.0_320_320_DBLoss_SGD_sr09_20240624153213/log

Tensorboard的使用方法可以参考这里：项目开发使用教程和常见问题和解决方法_pip安装tensorboard-CSDN博客 

训练完成后，DBNet模型的测评指标均方误差MSE约0.1508左右；轻量化模型Fast-SCNN的均方误差MSE约0.1997左右；下表格给出水表数字检测模型DBNet和Fast-SCNN的计算量和参数量，以及其预测结果的均方误差MSE和mIOU：

指标说明：DBNet训练时，数据处理需要生成缩小轮廓的概率图和增大轮廓的阈值图，导致与真实的轮廓有差异，从而导致最终的测评指标mIOU的结果偏低，但从指标均方误差MSE看，DBNet明显比Fast-SCNN效果好的

模型 input-size params(M) GFLOPs MSE mIOU

DBNet

320×320

9722.27M

12.22M

0.1508

0.9333

Fast-SCNN

320×320

1.24M

939.01M

0.1997

0.9531

5. 水表数字识别模型训练

本篇主要介绍水表数字分割模型训练，关于水表数字识别模型训练，请参考《

水表数字识别3：Pytorch  CRNN实现水表数字识别(含训练代码和数据集)》

6. 水表数字检测效果（Python版本）

demo.py文件用于推理和测试模型的效果，填写好模型文件以及测试图片即可运行测试了

demo.py源码：

  • 测试图片
python demo.py --config_file work_space/WaterMeter_regress/regress_dbnet_resnet181.0_320_320_DBLoss_SGD_sr09_20240624153213/config_labelme_db.yaml --model_file work_space/WaterMeter_regress/regress_dbnet_resnet181.0_320_320_DBLoss_SGD_sr09_20240624153213/model/latest_model_199_0.9334.pth --image_dir data/test_image

  • 测试视频文件(video_file填写视频文件路径，如data/test-video.mp4)
python demo.py --config_file work_space/WaterMeter_regress/regress_dbnet_resnet181.0_320_320_DBLoss_SGD_sr09_20240624153213/config_labelme_db.yaml --model_file work_space/WaterMeter_regress/regress_dbnet_resnet181.0_320_320_DBLoss_SGD_sr09_20240624153213/model/latest_model_199_0.9334.pth --video_file data/test-video.mp4

  • 测试摄像头(video_file填写摄像头USB ID号，一般是0，1，2)
python demo.py --config_file work_space/WaterMeter_regress/regress_dbnet_resnet181.0_320_320_DBLoss_SGD_sr09_20240624153213/config_labelme_db.yaml --model_file work_space/WaterMeter_regress/regress_dbnet_resnet181.0_320_320_DBLoss_SGD_sr09_20240624153213/model/latest_model_199_0.9334.pth --video_file 0

 水表数字分割Demo效果展示（左是原图输入，中是模型输出分割效果，右是透视矫正后的效果）：

7. 水表数字检测效果（Android版本）

已经完成Android版本水表数字检测分割和识别算法开发，APP在普通Android手机上可以达到实时的检测和识别效果，CPU(4线程)约40ms左右，GPU约30ms左右 ，基本满足业务的性能需求。详细说明请查看：水表数字识别5：Android实现水表数字识别(含源码 可实时检测)

Android Demo体验：https://download.csdn.net/download/guyuealian/89537381

  

8. 水表数字分割项目源码下载

整套项目源码分为训练版本和推理版本，推理版本只提供推理代码和推理模型，不包含数据和训练代码；训练版本提供推理代码和推理模型，并提供训练数据和训练相关的整套代码。

（1）水表数字分割(推理版本)

下载地址：Pytorch DBNet实现水表数字检测(Python推理版本)

  • 提供水表数字分割模型的推理和测试代码，不含水表数字识别模型
  • 提供高精度版本DBNe模型，参数量和计算量较大，检测精度较高，比较耗时；
  • 提供轻量化版本Fast-SCNN模型，参数量和计算量较小，检测精度一般，速度较快；
  • 提供DBNe和Fast-SCNN模型训练好的模型权重文件，可以直接使用，配置好环境，可直接运行demo.py
  • 提供推理测试文件demo.py，支持图片，视频和摄像头测试

（2）水表数字分割(训练版本)

下载地址：资源整理中。。。

水表数字数据集+水表数字分割训练代码和测试代码（Pytorch）

  • 提供整套项目水表数字分割模型推理和训练的完整代码，支持模型训练和测试，不含水表数字识别模型
  • 提供高精度版本DBNe模型，参数量和计算量较大，检测精度较高，比较耗时；
  • 提供轻量化版本Fast-SCNN模型，参数量和计算量较小，检测精度一般，速度较快；
  • 提供DBNe和Fast-SCNN模型训练好的模型权重文件，可以直接使用，配置好环境，可直接运行demo.py
  • 提供推理测试文件demo.py，支持图片，视频和摄像头测试
  • 提供水表数字数据集：Water-Meter-Det1和Water-Meter-Det2，总数约6000+张图片，主要用于水表数字检测模型或分割模型训练和开发；Water-Meter-Rec1和Water-Meter-Rec2，总数约12000+张图片,主要用于水表数字识别模型训练和开发

本篇是水表数字分割内容，如果需要实现水表数字识别，请参考第三篇文章：

水表数字识别3：Pytorch  CRNN实现水表数字识别(含训练代码和数据集)

阅读全部

相关推荐

  6. 基于DCT算法的数字水印嵌入、检测和攻击的Matlab代码实现

    2024-07-18 04:34:02       63 阅读

  10. YoloV8实战：使用YoloV8实现水下目标的检测（DUO数据集）

    2024-07-18 04:34:02       38 阅读

最近更新

  3. docker php8.1+nginx base 镜像 dockerfile 配置

    2024-07-18 04:34:02       66 阅读

  4. Could not load dynamic library ‘cudart64_100.dll‘

    2024-07-18 04:34:02       70 阅读

  9. 在Django里面运行非项目文件

    2024-07-18 04:34:02       57 阅读

  19. Python语言-面向对象

    2024-07-18 04:34:02       68 阅读

  20. 如何分清楚常见的 Git 分支管理策略Git Flow、GitHub Flow 和 GitLab Flow

    2024-07-18 04:34:02       62 阅读

热门阅读

  1. MySQL执行流程、行记录格式、数据日志、数据库三大范式

    2024-07-18 04:34:02       19 阅读

  3. 已解决Access denied for user ‘root‘@‘%‘ to database ‘xxx‘

    2024-07-18 04:34:02       20 阅读

  4. 【Docker】镜像构建和容器部署

    2024-07-18 04:34:02       21 阅读

  6. 力扣刷题（自用）

    2024-07-18 04:34:02       25 阅读

  13. 无需安装jadx-gui，获取app公钥和MD5

    2024-07-18 04:34:02       23 阅读

  14. elasticsearch源码分析-05分片分配

    2024-07-18 04:34:02       16 阅读

  16. 营销策划方案怎么写？

    2024-07-18 04:34:02       20 阅读

  17. 中国高端水果元宇宙

    2024-07-18 04:34:02       19 阅读

  19. 牛客多校暑期第一场

    2024-07-18 04:34:02       17 阅读

  22. 记一次Mysql连接失败的处理过程

    2024-07-18 04:34:02       28 阅读

  25. 从入门到高手的99个python案例

    2024-07-18 04:34:02       18 阅读

  27. Springboot Excel 导出工具 -- EasyPoi 简介

    2024-07-18 04:34:02       22 阅读