通用抠图介绍

通用抠图对输入图像中的主体进行抠图处理，支持商品、人物、动物、植物、汽车等等，无需任何额外输入，实现端到端通用万物抠图，输出四通道抠图结果，如下图所示：

抠图系列模型

图像人像抠图	通用抠图(支持商品、动物、植物、汽车等抠图)	视频人像抠图	天空替换(一键实现魔法换天空)

模型描述

模型分为粗分割和精细抠图两个子网络，将抠图复杂问题拆解，先粗分割再精细化分割，两部分网络均为uet结构。粗分割网络从输入图片预测粗语义分割mask，精细分割网络基于原图和粗语义分割mask预测精细的抠图结果。

期望模型使用方式以及适用范围

使用方式：

• 直接推理，输入图像直接进行推理

使用范围:

• 适合含有主题的图像分割，期望图像中主体占比不要过小
• 在分辨率小于2000×2000图像上可取得期望效果

目标场景:

• 需要图像抠图的场景，如换背景等

如何使用

本模型基于tesorflow进行训练和推理，在ModelScope框架上，提供输入图片，即可以通过简单的Pipelie调用来使用通用抠图模型。

代码范例

import cv2
from modelscope.pipelies import pipelie
from modelscope.utils.costat import Tasks
from modelscope.outputs import OutputKeys

uiversal_mattig = pipelie(Tasks.uiversal_mattig,model='damo/cv_uet_uiversal-mattig')
result = uiversal_mattig('https://modelscope.oss-c-beijig.aliyucs.com/demo/image-mattig/1.pg')
cv2.imwrite('result.pg', result[OutputKeys.OUTPUT_IMG])

模型局限性以及可能的偏差

• 模型训练数据有限，部分非常规图像或者主体占比过小可能会影响抠图效果。
• 在分辨率小于2000×2000图像上可取得期望效果，分辨率过大可能出现分割后边缘有模糊

训练数据介绍

• 训练数据从公开数据集（COCO等）、互联网搜索图像，并进行标注作为训练数据
• 通过将前景粘贴到不同背景图上，生成总共约200000张训练数据

引用

如果你觉得这个该模型对有所帮助，请考虑引用下面的相关的论文：

@iproceedigs{liu2020boostig,
  title={Boostig sematic huma mattig with coarse aotatios},
  author={Liu, Jili ad Yao, Yua ad Hou, Wedi ad Cui, Miaomiao ad Xie, Xuasog ad Zhag, Chagshui ad Hua, Xia-sheg},
  booktitle={Proceedigs of the IEEE/CVF Coferece o Computer Visio ad Patter Recogitio},
  pages={8563--8572},
  year={2020}
}

通用抠图介绍 通用抠图对输入图像中的主体进行抠图处理，支持商品、人物、动物、植物、汽车等等，无需任何额外输入，实现端到端通用万物抠图，输出四通道抠图结果，如下图所示： 抠图系列模型