视频描述介绍
视频描述：给定一个视频，模型根据视频信息生成一句对应描述。可以应用于给一张视频配上一句文字或者打个标签的场景。你只需要输入任意一个视频，很快你就能收获对于该视频的描述。
模型描述
本任务是mPLUG系列的HiTeA，在英文视频描述MSRVTT、MSVD与英文图片描述MS COCO Caption数据集进行finetune描述下游任务。HiTeA模型是统一理解和生成的多模态视频基础模型，该模型提出了基于时间层级式的视频多模态预训练任务。其中，HiTeA论文公开时在MSRVTT与MSVD的视频描述数据集上达到SOTA，详见：HiTeA: Hierarchical Temporal-Aware Video-Language Pre-training
期望模型使用方式以及适用范围
本模型主要用于给视频生成对应描述。用户可以自行尝试各种输入文档。具体调用方式请参考代码示例。
如何使用
在安装完成MaaS-lib之后即可使用video-captioning的能力
推理代码范例
from modelscope.pipelines import pipeline
from modelscope.utils.constant import Tasks
model_id = 'damo/multi-modal_hitea_video-captioning_base_en'
input_caption = 'http://xke-repo.oss-cn-hangzhou.aliyuncs.com/models/release/vid_hitea_videocap.avi'
pipeline_caption = pipeline(Tasks.video_captioning, model=model_id)
result = pipeline_caption(input_caption)
print(result)
模型局限性以及可能的偏差
模型在数据集上训练，有可能产生一些偏差，请用户自行评测后决定如何使用。
训练数据介绍
本模型训练数据集是MSRVTT, MSVD与MS COCO Caption。
数据评估及结果
HiTeA视频多模态预训练模型，在同等规模和预训练数据的模型中取得SOTA.
相关论文以及引用信息
如果我们的模型对您有帮助，请您引入我们的文章：
@inproceedings{ye2022hitea,
title={HiTeA: Hierarchical Temporal-Aware Video-Language Pre-training},
author={Ye, Qinghao and Xu, Guohai and Yan, Ming and Xu, Haiyang and Qian, Qi and Zhang, Ji and Huang, Fei},
year={2022},
journal={arXiv}
}
评论