项目描述:本项目是一个基于图卷积神经网络(GraphConvolutionNeuralNetworks)实现的手语识别算法,通过图卷积神经网
络对人体关节三维坐标进行训练识别。
工作内容:
1,收集下载公开数据集,利用mmpose对RGB视频手语数据集进行关键点捕捉生成三维坐标,并利用骨骼关键点的动能提取视频 关键帧。
2,为解决现有图卷机神经网络模型不能捕捉到远距离节点和时间空间卷积分离问题,提出非局部多尺度图卷机神经网络模型,利用 多尺度邻接矩阵解决人体关节点长距离依赖问题,加入非局部神经网络弥补远距离节点信息微弱问题并且能够捕捉到多帧关节点 间关系,并基于pytorch搭建网络模型 。
3,对搭建的模型进行调参和模型优化,使准确率最佳。