xmnlp是一个轻量级中文自然语言处理工具,提供中文分词,词性标注,命名体识别,情感分析,文本纠错,文本转拼音,文本摘要,偏旁部首等功能。
功能概览中文简体词法分析(RoBERTa+CRFfinetune)分词词性标注命名体识别中文拼写检查(Detector+CorrectorSpellCheck)文本摘要&关键词提取(Textrank)情感分析(RoBERTafinetune)文本转拼音(Trie)汉字偏旁部首(HashMap)安装1.安装库方式1安装最新版xmnlppipinstall-Uxmnlp国内用户可以加一下index-urlpipinstall-ihttps://pypi.tuna.tsinghua.edu.cn/simple-Uxmnlp方式2gitclonehttps://github.com/SeanLee97/xmnlp.gitcd/path/to/xmnlppipinstall-rrequirements.txtpythonsetup.pyinstall2.下载模型下载地址请下载xmnlp对应版本的模型,如果不清楚xmnlp的版本,可以执行python-c'importxmnlp;print(xmnlp.__version__)'查看版本模型名称适用版本下载地址xmnlp-onnx-models-v3.zipv0.3.2飞书[o4bA]|百度网盘[9g7e]*模型已切换至onnx,先前tensorflow模型已不可用,请下载最新版本模型*如果下载地址失效了,烦请提issue反馈模型设置提供两种设置方式方式1:配置环境变量(推荐)下载好的模型解压后,可以设置环境变量指定模型地址。以Linux系统为例,设置如下exportXMNLP_MODEL=/path/to/xmnlp-models方式2:通过函数设置在调用xmnlp前设置模型地址,如下importxmnlpxmnlp.set_model('/path/to/xmnlp-models')
*上述/path/to/只是占位用的,配置时请替换成模型真实的目录地址。
评论