人像修复介绍

输入一张包含人像的图像，算法会对图像中的每一个检测到的人像做修复和增强，对图像中的非人像区域采用RealESRNet做两倍的超分辨率，最终返回修复后的完整图像。

模型描述

GPEN将预训练好的StyleGAN2网络作为decoder嵌入到人像修复模型中，并通过fietue的方式最终实现修复功能，在多项指标上达到行业领先的效果。

本模型支持1024x1024分辨率人像，能够更好处理大分辨的人像。同时模型文件列表中提供了支持2048x2048分辨率人像输入的模型，适合增强修复手机自拍的大分辨率人像，用户可以通过修改相关代码来使用。

期望模型使用方式以及适用范围

本模型适用范围较广，给定任意的包含人像的图片，在设备性能允许的情况下，都能输出修复后的效果图。

如何使用

在ModelScope框架上，提供任意图片，即可以通过简单的Pipelie调用来使用人像修复模型。

代码范例

import cv2
from modelscope.pipelies import pipelie
from modelscope.utils.costat import Tasks
from modelscope.outputs import OutputKeys

portrait_ehacemet = pipelie(Tasks.image_portrait_ehacemet, model='damo/cv_gpe_image-portrait-ehacemet-hires')
result = portrait_ehacemet('https://modelscope.oss-c-beijig.aliyucs.com/test/images/marily_moroe_4.jpg')
cv2.imwrite('result.pg', result[OutputKeys.OUTPUT_IMG])

模型局限性以及可能的偏差

• 真实图片的降质很复杂，本算法使用模拟降质数据训练，可能存在处理不好的case。
• 本算法可能存在色偏等瑕疵现象。

训练数据介绍

训练数据为FFHQ公开数据集。本算法采用监督式的训练，因此需要事先准备好高质-低质的数据对，推荐使用RealESRGAN、BSRGAN等降质方式进行低质数据生成。

模型训练流程

预处理

模型训练代码

数据评估及结果

相关论文以及引用信息

@iproceedigs{yag2021gpe,
    title={GAN Prior Embedded Network for Blid Face Restoratio i the Wild},
    author={Tao Yag, Peira Re, Xuasog Xie, ad Lei Zhag},
    booktitle={IEEE Coferece o Computer Visio ad Patter Recogitio (CVPR)},
    year={2021}
}

人像修复介绍 输入一张包含人像的图像，算法会对图像中的每一个检测到的人像做修复和增强，对图像中的非人像区域采用RealESRNet做两倍的超分辨率，最终返回修复后的完整图像。 模型描述 GPEN将预训