这是一款能够将平面图片渲染出动态3D景深效果的开源AI工具。效果示例如下:
作者提出了一种将单个RGB-D输入图像转换为3D照片的方法,即一种新的视图合成的多层表示方法,该方法包含在原始视图中被遮挡区域的幻觉颜色和深度结构。作者使用具有明确像素连接性的分层深度图像作为底层表示,并提出一个基于学习的修复模型,该模型以空间上下文感知的方式将新的局部颜色和深度内容迭代合成到遮挡区域。使用标准图形引擎,可以使用运动视差有效地渲染生成的3D照片。作者在一系列具有挑战性的日常场景中验证了该方法的有效性。
测试环境
Linux(Ubuntu18.04.4LTS)AnacondaPython3.7(3.7.4)PyTorch1.4.0其他的Python依赖项:opencv-python==4.2.0.32vispy==0.6.4moviepy==1.0.2transforms3d==0.3.1networkx==2.3cynetworkxscikit-image运行以下指令开始安装:condacreate-n3DPpython=3.7anacondacondaactivate3DPpipinstall-rrequirements.txtcondainstallpytorch==1.4.0torchvision==0.5.0cudatoolkit==10.1.243-cpytorch下载模型权值:chmod+xdownload.sh./download.sh更多详情请查看软件主页
评论