GPT-2 基于 transformer 的大型语言模型开源项目

GPT-2是一种基于transformer 的大型语言模型，具有15亿个参数，在800万网页数据集上进行训练。

它是论文《语言模型是无人监督的多任务学习者》（LanguageModelsareUnsupervisedMultitaskLearners）的代码实现。

目前发布了GPT-2的小型（117M参数）和中型（345M参数）版本，还没有发布更大的模型，但已经发布了一个数据集供研究人员研究行为。该存储库旨在成为研究人员和工程师尝试使用GPT-2的起点。