基于红外传感器的姿态识别

我要开发同款
言兮清言2022年11月08日
334阅读

作品详情

主要负责的内容:
项目描述:
一、需求分析:通过光学摄像头结合红外传感器记录人体姿势行为,家居设备根据人类的
姿态判断人的行为进行相应的控制,现有的技术可以实现热感图人体姿态识别。
二、 数据 获取 :数 据来 源于 甲方 ,一 方面 是光 学摄 像头 记录 的数 据, 这些 数据 通过
openpose 算法打好 18 个关键点的标签,另一方面就是红外传感器获得的热感图数据,前者
的标签和后者的图的关键点一一对应,以此作为训练数据,并且进行图像增强、清洗不相
关数据。
三、模型构建和模型训练:模型采用的是 3d 卷积的方式来处理,五层 3d 卷积和四层 3d 反
卷积(光学摄像头和红外传感器的热感图是利用时间戳来进行一一对应),设计好之后,
将数据放到模型里进行训练,观察训练过程中的热感图关键点实时检测情况,检查精度。
四、模型优化:采用更好优化器 adm、激活函数使用 leakey,通过调整学习率衰减公式中
的 local_step 优化学习率经过模型训练优化,模型准确率达到 96.98%。
五、模型部署:模型部署在服务器上,有服务器对数据进行预测处理,光学摄像头和红外
传感器只是存储数据的媒介。

项目难点:
一、光学摄像头和红外传感器分辨率不一致,红外传感器的图像大小是 32x24,通过 FPN 扩
大图片的特征性。
二、一开始得到的结果发现图像效果存在网格化,人体特征度识别效果并没有达到要求,
确认数据没有问题之后,调整学习率的衰减度(local_step)解决。
声明:本文仅代表作者观点,不代表本站立场。如果侵犯到您的合法权益,请联系我们删除侵权资源!如果遇到资源链接失效,请您通过评论或工单的方式通知管理员。未经允许,不得转载,本站所有资源文章禁止商业使用运营!
下载安装【程序员客栈】APP
实时对接需求、及时收发消息、丰富的开放项目需求、随时随地查看项目状态

评论