DCT-Net人像卡通化_测试
模型进展
目前存在两个问题: 1.训练不足导致,不同图像显示出的效果比较大,我尽量挑几张效果好的展示一下,这个之后有空再炼一炼。 2.什么风格才算是二次元风格,二次元图像纹理对于DCT-Net的影响是?这个有空我再看看。
5月1日更新v1.0.2版本 稍微炼了一下,风格似乎更明显了,或者说是更阴间了……
米游社的新活动“无尽的三月七” 安利一下目前最近比较火的人物风格化小应用,不过这个一眼就是diffusion那一套finetune出来的,和DCT-Net应该区别不小。
备注(重要!!!)
- 首先非常感谢隔壁上传的原神数据集和展示的模型示例!没有这个数据集我可能就懒得自己找数据集炼了(
- 本模型可以视作隔壁模型的另一个版本,创建这个模型起因是在使用隔壁的创应用的时候感觉有点emmm,奇怪?可能是版本问题?参数上传错了?还没调整完? (4.30日晚更新,明白了,出现相同问题了,应该是训练不足导致的,甚至有可能只有一部分权重被实际更新了)
- 本模型尚在测试阶段,不过当前版本已经可以简单应用。创空间链接DCT-Net卡通化模型增加finetune
- 这确实是 大作业 。
效果图
常见QA
- 为什么效果比较奇怪? 一个是因为训练量不足,另一个原因是数据集本身原图与风格图间的映射关系不是特别明确,这个具体还得看看。
模型创建说明(重要!!!)
- 模型受DCT-Net人像卡通化模型-原神风启发创建
- 模型根据DCT-Net人像卡通化模型进行了finetune
- finetune使用的数据集为DCT-Net人像卡通化-原神
模型二次开发引导
- 正在施工
论文 | 项目主页
输入一张人物图像,实现端到端全图卡通化转换,生成二次元虚拟形象,返回卡通化后的结果图像。
使用方式和范围
使用方式:
- 支持GPU/CPU推理,在任意真实人物图像上进行直接推理;
使用范围:
- 包含人脸的人像照片(3通道RGB图像,支持PNG、JPG、JPEG格式),人脸分辨率大于100x100,总体图像分辨率小于3000×3000,低质人脸图像建议预先人脸增强处理。
目标场景:
- 艺术创作、社交娱乐、隐私保护场景,自动化生成卡通肖像。
如何使用
在ModelScope框架上,提供输入图片,即可以通过简单的Pipeline调用来使用人像卡通化模型-原神风格。
代码范例
import cv2
from modelscope.outputs import OutputKeys
from modelscope.pipelines import pipeline
from modelscope.utils.constant import Tasks
img_cartoon = pipeline(Tasks.image_portrait_stylization,
model='lskhh/DCT_Net_finetune_on_genshin',model_revision='v1.0.2')
# 图像本地路径
#img_path = 'input.png'
# 图像url链接
img_path = 'https://modelscope.oss-cn-beijing.aliyuncs.com/test/images/image_cartoon.png'
result = img_cartoon(img_path)
cv2.imwrite('result.png', result[OutputKeys.OUTPUT_IMG])
print('finished!')
模型局限性以及可能的偏差
低质/低分辨率人脸图像由于本身内容信息丢失严重,无法得到理想转换效果,可预先采用人脸增强模型预处理图像解决;
小样本数据涵盖场景有限,人脸暗光、阴影干扰可能会影响生成效果。
训练数据介绍
训练数据从公开数据集(COCO等)、互联网搜索人像图像,并进行标注作为训练数据。
真实人脸数据FFHQ常用的人脸公开数据集,包含7w人脸图像;
卡通人脸数据,互联网搜集,100+张
二次训练数据集:DCT-Net人像卡通化-原神头像 二次训练数据集为网络上找的数据集。
预处理
- 人脸关键点检测
- 人脸提取&对齐,得到256x256大小的对齐人脸
推理
- 为控制推理效率,人脸及背景resize到指定大小分别推理,再背景融合得到最终效果;
- 亦可将整图依据人脸尺度整体缩放到合适尺寸,直接单次推理
数据评估及结果
使用CelebA公开人脸数据集进行评测,在FID/ID/用户偏好等指标上均达SOTA结果:
Method | FID | ID | Pref.A | Pref.B |
---|---|---|---|---|
CycleGAN | 57.08 | 0.55 | 7.1 | 1.4 |
U-GAT-IT | 68.40 | 0.58 | 5.0 | 1.5 |
Toonify | 55.27 | 0.62 | 3.7 | 4.2 |
pSp | 69.38 | 0.60 | 1.6 | 2.5 |
Ours | 35.92 | 0.71 | 82.6 | 90.5 |
引用
如果该模型对你有所帮助,请引用相关的论文:
@inproceedings{men2022domain,
title={DCT-Net: Domain-Calibrated Translation for Portrait Stylization},
author={Men, Yifang and Yao, Yuan and Cui, Miaomiao and Lian, Zhouhui and Xie, Xuansong},
journal={ACM Transactions on Graphics (TOG)},
volume={41},
number={4},
pages={1--9},
year={2022}
}
评论