3D人体姿态估计模型

输入一张人体图像，输出人体参数化模型SMPL的pose和shape估计结果，已经对应的vertices，3D关键点。

SMPL模型

pose 维度(24, 3)，包含1个global rotation与23个local joints rotation，用三维的旋转向量表示

shape 维度(1, 10)

vertices 维度(6890, 3)，人体Mesh的6890个顶点，faces为SMPL模型的标准faces。

模型描述

模型来源CVPR 2023工作 Towards Stable Human Pose Estimation via Cross-View Fusion and Foot Stabilization，由三部分组成：

1. ViT作为backbone用于提取图像特征
2. Cross-View Fusion module用于预测front-view 2D heatmaps，同时基于front-view 2D heatmaps与图像特征进一步得到side-view与top-view的2D heatmaps。
3. RKTD用于辅助脚部姿态预测。（本模型中不包含此模块）

推理代码范例

引用

@InProceedings{Zhuo_2023_CVPR,
    author    = {Zhuo, Li{\textquoteright}an and Cao, Jian and Wang, Qi and Zhang, Bang and Bo, Liefeng},
    title     = {Towards Stable Human Pose Estimation via Cross-View Fusion and Foot Stabilization},
    booktitle = {Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)},
    month     = {June},
    year      = {2023},
    pages     = {650-659}
}