CINO 少数民族语言预训练模型_开源项目-程序员客栈

在自然语言处理领域中，预训练语言模型（Pre-trainedLanguageModel,PLM）已成为重要的基础技术，在多语言的研究中，预训练模型的使用也愈加普遍。为了促进中国少数民族语言信息处理的研究与发展，哈工大讯飞联合实验室（HFL）发布少数民族语言预训练模型CINO (ChinesemINOrityPLM)。

本项工作的主要贡献：

CINO (ChinesemINOrityPLM)基于多语言预训练模型XLM-R，在多种国内少数民族语言语料上进行了二次预训练。该模型提供了藏语、蒙语（回鹘体）、维吾尔语、哈萨克语（阿拉伯体）、朝鲜语、壮语、粤语等少数民族语言与方言的理解能力。

为了便于评价包括CINO在内的各个多语言预训练模型性能，我们构建了基于维基百科的少数民族语言分类任务数据集Wiki-Chinese-Minority（WCM）。具体见少数民族语言分类数据集。

通过实验证明，CINO在Wiki-Chinese-Minority（WCM）以及其他少数民族语言数据集：藏语新闻分类TibetanNewsClassificationCorpus(TNCC)、朝鲜语新闻分类KLUE-TC(YNAT)上获得了最好的效果。相关结果详见实验结果。

该模型涵盖：

Chinese，中文（zh）Tibetan，藏语（bo）Mongolian(Uighurform)，蒙语（mn）Uyghur，维吾尔语（ug）Kazakh(Arabicform)，哈萨克语（kk）Korean，朝鲜语（ko）Zhuang，壮语Cantonese，粤语（yue）

CINO 少数民族语言预训练模型开源项目

作品详情

重点城市程序员兼职推荐

重点岗位程序员兼职推荐