Syncdreamer

基本信息

SyncDreamer是一个Novel View Synthesis(多视角合成)的SoTA模型，他可以从单图推理出16个固定视角RGB图片，对应的相机参数是已知的，所以可以用instant-ngp重建物体的Mesh，从而能够单张图片生成3D物体, 详细信息参考 SyncDreamer: Generating Multiview-consistent Images from a Single-view Image

生成案例

模型细节

SyncDreamer使用Stable Diffusion作为基础模型在Objaverse上进行了16个视角数据的Fintuning，从而可以进行多视角合成和单张图生成3D模型

使用场景

多视角生成、单张图片生成3D模型

如何使用

在ModelScope里可以比较方便的使用image-to-3D的能力

代码样例

from modelscope.pipelines import pipeline
from modelscope.utils.constant import Tasks

mviews_pipe = pipeline(
            Tasks.image_to_3d,
            model='Damo_XR_Lab/Syncdreamer')
result = mviews_pipe('./test_img.png')

测试结果样例

模型局限性以及可能的偏差

模型在数据集上训练，有可能产生一些偏差，请用户自行评测后决定如何使用。

训练数据介绍

Objaverse是目前最大的3D数据集，由80万个模型组成，SyncDreamer使用Objaverse全集完成训练，请用户参考论文获取更多介绍。

模型训练流程

暂时不支持通过ModelScope接口进行训练，敬请期待。

预处理

主要的预处理涉及到图像主体的分割以及处理到256x256像素

相关论文以及引用信息

如果你觉得这个该模型对有所帮助，请考虑引用下面的相关的论文：

@misc{liu2023syncdreamer,
      title={SyncDreamer: Generating Multiview-consistent Images from a Single-view Image}, 
      author={Yuan Liu and Cheng Lin and Zijiao Zeng and Xiaoxiao Long and Lingjie Liu and Taku Komura and Wenping Wang},
      year={2023},
      eprint={2309.03453},
      archivePrefix={arXiv},
      primaryClass={cs.CV}
}