Zero123-XL图像视角变换模型介绍

模型描述

本项目旨在通过生成模型将用户给定的输入图像中的物品按照用户所指定的视角，进行物品的视角变换。 从而生成相对应视角下物品的图像，其核心在于与原图保持纹理，结构等信息的一致性。通过该模型生成的多视角图像也可以用Nerf进行三维模型的构建，也是该模型最为重要的应用之一。

代码示例

from modelscope.models import Model
from modelscope.pipelines import pipeline
from modelscope.utils.constant import Tasks
from PIL import Image
import cv2


model_id = 'damo/cv_image-view-transform'
image=Image.open('damo/cv_image-view-transform/0.jpg')
# image=None
input = {
    'source_img':image,
    'target_view':[50.0,0.0,0.0,True,3.0,4,50,1.0]
}
image_view_transform = pipeline(Tasks.image_view_transform, model=model_id, revision='v1.0.4')
result = pipeline(input)
logger.info(result)
cv2.imwrite('result.jpg', result[OutputKeys.OUTPUT_IMGS][0])
print(np.sum(np.abs(result[OutputKeys.OUTPUT_IMGS][0])))

Clone with HTTP

 git clone https://www.modelscope.cn/damo/cv_image-view-transform.git