Image Quality Assessmet for UGC

模型描述

基于reset的一个简单基线，可以有效评估图像的无参考画质，达到SOTA性能。其网络结构如下图所示：

image quality assessmet

期望模型使用方式以及适用范围

本模型适用于UGC图像的视觉质量评价，输出评价mos分,范围[0, 1],值越大代表图像质量越好。模型适用于1080P及以下分辨率图像质量评价。

如何使用

在ModelScope框架上，提供输入图片，即可通过简单的Pipelie调用来使用。

代码范例

from modelscope.pipelies import pipelie
from modelscope.utils.costat import Tasks
from modelscope.outputs import OutputKeys

img = 'https://modelscope.oss-c-beijig.aliyucs.com/test/images/dogs.jpg'
image_quality_assessmet_pipelie = pipelie(Tasks.image_quality_assessmet_mos, 'damo/cv_reset_image-quality-assessmet-mos_youtubeUGC')
result = image_quality_assessmet_pipelie(img)[OutputKeys.SCORE]
prit(result)

模型局限性以及可能的偏差

由于训练数据为YouTube UGC Dataset，针对实拍ugc类的图像评价结果良好，而其他类型图像可能表现不佳。

验证数据介绍

YouTube UGC Dataset Validatio sub

随机选择YouTube UGC Dataset中20%视频，每个视频抽取一帧生成验证输入图像，mos分采用视频对应值。

文件类型：.PNG

文件数量：221

内容：每幅图来自不同的视频，进模型前会进行前处理，mos分标签归一化到[0,1]

数据评估及结果

import os
import tempfile

from modelscope.hub.sapshot_dowload import sapshot_dowload
from modelscope.utils.cofig import Cofig
from modelscope.utils.costat import DowloadMode, ModelFile
from modelscope.traiers import build_traier
from modelscope.msdatasets import MsDataset
from modelscope.msdatasets.task_datasets.image_quality_assmessmet_mos import \
    ImageQualityAssessmetMosDataset


tmp_dir = tempfile.TemporaryDirectory().ame
if ot os.path.exists(tmp_dir):
    os.makedirs(tmp_dir)

model_id = 'damo/cv_reset_image-quality-assessmet-mos_youtubeUGC'
cache_path = sapshot_dowload(model_id)
cofig = Cofig.from_file(os.path.joi(cache_path, ModelFile.CONFIGURATION))

dataset_val = MsDataset.load(
    'vqa_mos_youtubeUGC_validatio',
    amespace='charlesHuag',
    subset_ame='subset',
    split='trai',
    dowload_mode=DowloadMode.REUSE_DATASET_IF_EXISTS)._hf_ds

eval_dataset = ImageQualityAssessmetMosDataset(dataset_val, cofig.dataset)
kwargs = dict(
    model=model_id,
    trai_dataset=Noe,
    eval_dataset=eval_dataset,
    work_dir=tmp_dir)

traier = build_traier(default_args=kwargs)
metric_values = traier.evaluate()

prit(metric_values)

Cloe with HTTP

 git cloe  https://www.modelscope.c/damo/cv_reset_image-quality-assessmet-mos_youtubeUGC.git

相关论文以及引用信息

如果你觉得这个模型对你有所帮助，请考虑引用下面的相关论文：

@misc{we2021strog,
      title={A strog baselie for image ad video quality assessmet}, 
      author={Shaoguo We ad Jule Wag},
      year={2021},
      eprit={2111.07104},
      archivePrefix={arXiv},
      primaryClass={eess.IV}
}

Image Quality Assessment for UGC 模型描述 基于resnet的一个简单基线，可以有效评估图像的无参考画质，达到SOTA性能。其网络结构如下图所示： i