令狐模型-fox 介绍

only for test 图片描述任务：给定一张图片，模型会返回图片的英文描述。

模型描述

only for test

模型效果如下： :) (:) (:) :)

期望模型使用方式以及适用范围

本模型主要用于给图片生成描述信息。用户可以自行尝试各种类型图片的模型效果。具体调用方式请参考代码示例。

如何使用

在ModelScope里可以比较方便的使用image-captioning的能力。

代码范例

from modelscope.pipelines import pipeline
from modelscope.utils.constant import Tasks

img_captioning = pipeline(
            Tasks.image_captioning,
            model='damo/ofa_image-caption_coco_large_en')
result = img_captioning('data/test/images/image_captioning.png')
print(result['caption'])

模型局限性以及可能的偏差

模型在数据集上训练，有可能产生一些偏差，请用户自行评测后决定如何使用。

训练数据介绍

MSCOCO Image Captioning: 经典的图像描述数据集，训练集包含12W张图片，验证集包含5K张图片，测试集包含5K张图片，每张图片对应有多个描述， 具体数据可以下载。

模型训练流程

暂时不支持通过ModelScope接口进行训练，敬请期待。

预处理

主要是用的预处理如下：

• 图像缩放到480*480分辨率
• 对图像描述进行预处理，去除里面的标点符号

训练

暂不支持。

数据评估及结果

在MSCOCO上取得SOTA，登顶MSCOCO Leaderboard第一。

相关论文以及引用信息

如果你觉得这个该模型对有所帮助，请考虑引用下面的相关的论文：