基于隐空间平滑的人体三维重建系统

我要开发同款
xiaonan121382023年01月18日
190阅读
所属分类VR/AR

作品详情

三维重建技术自从提出以来一直是计算机视觉、计算机图形学和机器学习领域的一个热点课题。三维重建技术在早期通常以RGB图象作为输入数据,重建出对应场景的三维模型。从单目视频中恢复复杂场景中的高质量3D ⼈体运动对于从虚拟现实到机器⼈技术的许多应用都很重要。尽管在单图像3D姿势和形状估计方面取得了进展,但是受限于输入的数据和缺乏用于训练的地面实况3D运动数据等多方面因素,使用目前已有的方法进行三维重建得到的模型都还存模型抖动严重,真实感较低等问题。
目前已有的方法重建出的三维模型通常不够完整,真实感较低。而且使用目前已有的基于视频的最先进方法无法产生足够平滑的运动序列。
为了解决这个问题,我们提出了一种基于隐空间平滑的动态人体三维重建方法来解决此问题。我们选择使用大规模运动捕获数据集AMASS通过引入一种全新的运动平滑度先验,该方法大幅的减少了序列上恢复的姿势所表现出的抖动;同时我们还利用AMASS数据集以及未配对的野外2D关键点注释。本文的创新点是一种加入隐空间平滑自编码器的对抗性学习框架,利用AMASS来区分真实的人类运动和时间姿势、形状回归网络所产生的运动。我们还参考借鉴了一种具有自注意机制的时间网络架构,可以在没有野外真实的3D标签的序列级别对抗性训练中产生运动学上合理的运动序列。
声明:本文仅代表作者观点,不代表本站立场。如果侵犯到您的合法权益,请联系我们删除侵权资源!如果遇到资源链接失效,请您通过评论或工单的方式通知管理员。未经允许,不得转载,本站所有资源文章禁止商业使用运营!
下载安装【程序员客栈】APP
实时对接需求、及时收发消息、丰富的开放项目需求、随时随地查看项目状态

评论