THUOCL(THUOpenChineseLexicon)是由清华大学自然语言处理与社会人文计算实验室整理推出的一套高质量的中文词库,词表来自主流网站的社会标签、搜索热词、输入法词库等。
THUOCL具有以下特点:
包含词频统计信息DF值(DocumentFrequency),方便用户个性化选择使用。
词库经过多轮人工筛选,保证词库收录的准确性。
开放更新,将不断更新现有词表,并推出更多类别词表。
该词库可以用于中文自动分词,提升中文分词效果。可搭配 THULAC工具包使用,提升特定领域中文分词的效果。
评论