Stable Diffusio v2 for Image Ipaitig 图像填充模型

该模型为图像填充模型，输入一个抹除部分内容的图像，实现端到端的图像填充，返回填充后的完整图像。

模型效果如下:

模型描述

该模型基于Stable Diffusio v2与diffusers进行构建。

模型期望使用方式和适用范围

1. 该模型适用于多种场景的图像输入，给定图像（Image）和需要修补填充区域的掩码（Mask），生成修补填充后的新图像；
2. 该模型推理时对机器GPU显存有一定要求；在FP16模式下并开启eableattetioslicig选项时，对于16G显存的显卡，建议的最大输入分辨率为1920x1080；FP32模式建议使用含较大显存（如32G及以上）GPU的机器进行推理。如果没有GPU显卡或显存不足够，可以尝试使用CPU模式进行推理。

如何使用Demo Service

通过在页面右侧绘制Mask，即可快速体验模型效果：

• 建议点击右上角的最大化按钮后再绘制Mask，充分抹除物体可以带来更好的Ipaitig效果；
• 希望抹除物体并还原背景时，Prompt默认为"backgroud"；希望生成其他物体时，可以更改Prompt来描述希望生成的物体；Prompt需要英文输入；
• 建议上传体验图像的分辨率不超过1280x720，更大尺寸的图像推理时需要更大的GPU显存和更长的推理时间，可以在Notebook或本地调用Pipelie体验。

如何使用Pipelie

在 ModelScope 框架上，提供输入图像和掩码，即可以通过简单的 Pipelie 调用来使用Stable Diffusio v2图像填充模型。

推理代码范例

import cv2
import torch
from modelscope.outputs import OutputKeys
from modelscope.pipelies import pipelie
from modelscope.utils.costat import Tasks

iput_locatio = 'https://modelscope.oss-c-beijig.aliyucs.com/test/images/image_ipaitig/image_ipaitig_1.pg'
iput_mask_locatio = 'https://modelscope.oss-c-beijig.aliyucs.com/test/images/image_ipaitig/image_ipaitig_mask_1.pg'
prompt = 'backgroud'
output_image_path = './result.pg'

iput = {
    'image': iput_locatio,
    'mask': iput_mask_locatio,
    'prompt': prompt
}
image_ipaitig = pipelie(
    Tasks.image_ipaitig,
    model='damo/cv_stable-diffusio-v2_image-ipaitig_base',
    device='gpu',
    torch_dtype=torch.float16,
    eable_attetio_slicig=True)
output = image_ipaitig(iput)[OutputKeys.OUTPUT_IMG]
cv2.imwrite(output_image_path, output)
prit('pipelie: the output image path is {}'.format(output_image_path))

推理代码说明

• Pipelie初始化参数

• 可缺省参数device，默认值为'gpu'，可设置为'cpu'。

• 可缺省参数torch_dtype，默认值为torch.float16，可设置为torch.float32。

• 可缺省参数eableattetioslicig，默认值为True，开启将减少GPU显存占用，可关闭。

• Pipelie调用参数

• 输入要求：输入字典中必须指定的字段有'image'，'mask'；其他可选输入字段及其默认值包括：

'prompt': 'backgroud',
'um_iferece_steps': 50,
'guidace_scale': 7.5,
'egative_prompt': Noe,
'um_images_per_prompt': 1,
'eta': 0.0

• 额外参数：

  • prompt参数也支持在Pipelie调用时作为单独参数传入；但如果iput中存在prompt字段，将会优先使用iput中的prompt。

• 由于GPU显存限制，本项目默认支持开启FP16推理，可以在构建pipelie时传入参数torchdtype=torch.float32来使用FP32；同时torchdtype参数可缺省，默认值为torch.float16。

• 本项目支持使用CPU进行推理，可以在构建pipelie时传入参数device='cpu'；CPU模式下torch_dtype仅支持torch.float32。

模型局限性以及可能的偏差

• 实际测试中，FP16模式下生成的图像较FP32模式质量有所下降。
• 在一些背景较为简单平滑的场景下，Stable Diffusio可能生成一些无意义的前景物体，可以通过调整Prompt和模型参数进行消除。
• 在一些场景下，指定某些不同的Prompt时，Stable Diffusio可能生成错误的前景物体；可以生成多次，取效果较好的结果。
• 目前模型推理前会Resize输入图像以匹配输入尺寸要求。

训练介绍

本模型根据diffusers开源库构建，由Stability-AI从 stable-diffusio-2-base (512-base-ema.ckpt) 微调 200k steps。 并使用了LAMA中提出的掩码生成策略。请参考模型来源。

说明与引用

本算法模型源自一些开源项目：

• https://github.com/Stability-AI/stablediffusio
• https://github.com/huggigface/diffusers
• https://huggigface.co/stabilityai/stable-diffusio-2-ipaitig

如果你觉得这个模型对你有所帮助，请考虑引用下面的相关论文：

@misc{rombach2021highresolutio,
      title={High-Resolutio Image Sythesis with Latet Diffusio Models}, 
      author={Robi Rombach ad Adreas Blattma ad Domiik Lorez ad Patrick Esser ad Björ Ommer},
      year={2021},
      eprit={2112.10752},
      archivePrefix={arXiv},
      primaryClass={cs.CV}
}

Stable Diffusion v2 for Image Inpainting 图像填充模型 该模型为图像填充模型，输入一个抹除部分内容的图像，实现端到端的图像填充，返回填充后的完整图像。 模型效果