环境: RotatedYolo paddleocr zaber gpu npu android python rk3588 概述: 使用旋转目标检测在一张面单中找到功能区域包括: 收件人, 寄件人, 三段码, 条形码区域,对收件人 寄件人 三段码的文字区域使用不同维度模型进行ocr识别,条形码使用zaber进行解析,但是有些照片受照片质量限制还要ocr再进行识别. 目标检测模型:RotatedYolo五千张数据集模型训练，数据清洗，模型量化，模型转化，和在gpu,rk3588的npu,android板cpu的部署 paddlecor部分: 文本检测三千张数据集模型训练，模型网络修改；方向分类器一万张数据集模型训练模型转换；文本识别模型七十万张, 数据集模型训练,并在瑞芯微3588开发板npu上部署测试,实际检测效果：RotatedYolo准确度97%,文本检测模型准确度98%,方向的分类器准确度98%,文本识别模型准确度93%, RotatedYolo推理30ms ,ocr部分70ms

红枣检测 开发环境: Linux　 GPU Anaconda Cuda Cudnn Opencv Yolo Python voc数据集: 使用工控机和白色频闪光源及130万像素海康威视工业相机连续抓拍图片,８万张自动保存图片２万张人工保存图片２万张不同光源焦距图片,共12万张图片10个类别(包括好枣微变形变形鸟啄红裂黑裂肉干瘦干黑斑黄皮),使用vott标注,后期使用训练得到的模型自动标注数据集节省大量时间． 模型训练: 在linux GPU(3*RTX 3080ti显存36Ｇ)环境下基于Torch深度学习框架yolov3 yolov5的多GPU模型训练,超参调优,wandb训练可视化直观显示是否欠拟合,模型优化,数据清洗,GPU加速,实现单张图片的16个目标检测10个类别推理时间约为3-5ms,识别置信度95-99,得到的训练模型在不同设备光源环境上自动标注图片和人工干预的方式不断优化模型 部署落地: TensorRt深度学习推理优化器环境部署于工控机,用tensorrt加载训练得到的权重文件,定义网络并推理图片,Opencv对模型识别目标画框得到目标检测的坐标位置,类别,置信度,每颗枣翻滚会被拍照四次得到多个特征根据优先级及置信度确定枣的类别,再控制plc电磁阀执行,完成拍照推理识别执行整个过程.

ocr文字识别: 旋转目标检测和ocr 环境: RotatedYolo paddleocr zaber gpu npu android python rk3588 概述: 使用旋转目标检测在一张面单中找到功能区域包括: 收件人, 寄件人, 三段码, 条形码区域,对收件人 寄件人 三段码的文字区域使用不同维度模型进行ocr识别,条形码使用zaber进行解析,但是有些照片受照片质量限制还要ocr再进行识别. 目标检测模型:RotatedYolo五千张数据集模型训练，数据清洗，模型量化，模型转化，和在gpu,rk3588的npu,android板cpu的部署 paddlecor部分: 文本检测三千张数据集模型训练，模型网络修改；方向分类器一万张数据集模型训练模型转换；文本识别模型七十万张, 数据集模型训练,并在瑞芯微3588开发板npu上部署测试,实际检测效果：RotatedYolo准确度97%,文本检测模型准确度98%,方向的分类器准确度98%,文本识别模型准确度93%, RotatedYolo推理30ms ,ocr部分70ms