孟子GPT-NEO预训练生成模型

模型描述

使用300G中文预训练语料进行训练

本模型主要用于多种场景输入的生成和续写。比如用户可以自行尝试输入各种内容，然后让模型去回答、续写或者根据指令回复

如何使用

在安装完成Modelscope之后即可使用text-generation的能力

代码范例

from modelscope.pipelines import pipeline
from modelscope.utils.constant import Tasks
text_generation_zh = pipeline(Tasks.text_generation, model='langboat/mengzi-gpt-neo-base', model_revision='v1.1.0')
result_zh = text_generation_zh("中国的首都是", do_sample=True,top_k=5,top_p=1,max_length=20,repetition_penalty=0.5)
print(result_zh['text'])

模型局限性以及可能的偏差

模型在大量无监督数据上训练，没有加入下游任务，所以是通用的预训练模型，有可能产生一些偏差，请用户自行评测后决定如何使用。