孟子T5预训练生成模型-中文-base-多任务
孟子T5多任务模型在mengzi-t5-base的基础上，进一步使用27个数据集和301种prompt进行了多任务的混合训练。
关于孟子T5预训练生成模型的更多信息可参考论文：Mengzi: Towards Lightweight yet Ingenious Pre-trained Models for Chinese
模型描述
孟子多任务模型提供出色的 Zero-Shot 及 Few-Shot 能力，以 0.22B 的轻量化模型在 ZeroCLUE 和 FewCLUE 榜单均排名第一。 不仅可以实现“一个模型完成多个任务”，还具备极强的泛化能力，无需大量标注数据就可以完成新任务适配，在应用上能够让模型研发和部署维护更加轻量化。
clue榜单结果（2022-08-22）
ZeroCLUE
FewCLUE
实际场景验证
孟子多任务模型基于用户私有数据及各个领域（包括金融、医疗）的任务训练，在大量实际场景中得到验证。
下图展示了 Mengzi-T5-base-MT 模型在金融实体关系抽取任务的示例：
更多模型能力展示
如何使用
from modelscope.models import Model
from modelscope.pipelines import pipeline
from modelscope.utils.constant import Tasks
pipeline_ins = pipeline(task=Tasks.text2text_generation, model='langboat/mengzi-t5-base-mt')
result = pipeline_ins(input='中国的首都位于<extra_id_0>。')
print (result)
#{'text': '北京'}
from modelscope.models.nlp import T5ForConditionalGeneration
from modelscope.preprocessors import TextGenerationTransformersPreprocessor
model = T5ForConditionalGeneration.from_pretrained('langboat/mengzi-t5-base-mt')
preprocessor = TextGenerationTransformersPreprocessor(model.model_dir)
pipeline_ins = pipeline(
task=Tasks.text2text_generation,
model=model,
preprocessor=preprocessor)
print(pipeline_ins('中国的首都位于<extra_id_0>。'))
#{'text': '北京'}
相关论文以及引用信息
@misc{zhang2021mengzi,
title={Mengzi: Towards Lightweight yet Ingenious Pre-trained Models for Chinese},
author={Zhuosheng Zhang and Hanqing Zhang and Keming Chen and Yuhang Guo and Jingyun Hua and Yulong Wang and Ming Zhou},
year={2021},
eprint={2110.06696},
archivePrefix={arXiv},
primaryClass={cs.CL}
}
评论