鹏程·盘古对话生成大模型(PanGu-Dialog)。
PanGu-Dialog是以大数据和大模型为显著特征的大规模开放域对话生成模型,充分利用大规模预训练语言模型的知识和语言能力,构建可控、可靠可信、有智慧的自然人机对话模型。主要特性如下:
首次提出对话智慧度以探索对话模型的逻辑推理、数据计算、联想、创作等方面的能力。构建了覆盖领域最广(据我们所知)的开放域交互式对话评估数据集PGCED,12个领域,并在知识性、安全性、智慧程度等方面制作了针对性的评测数据。基于预训练+持续微调的学习策略融合大规模普通文本和多种对话数据训练而成,充分利用训练语言模型语言能力和知识,高效构建强大的对话模型。在各项指标上达到了中文纯模型生成式对话SOTA水平,在知识性和信息量方面优势明显,但安全性、可靠、可信、可控、智慧等方面的提升并不明显。目前生成式对话仍处于较低水平,与人类对话能力存在明显的差距,后续我们将在现有基础上针对不同的维度不断优化迭代,不断进步。
评论