NLP 序列化标注

我要开发同款
柳枫隐去2022年04月11日
200阅读

作品详情

1. 机器翻译分词模块:主要是基于开源分词数据+互联网新词+公司聊天累计数据等来优化 分词模块;包括基础预料预处理的标准制定、数据清洗、模型训练、线上对接翻译系统和相 关部署;模型训练主要是基于 CRF++框架和 Bilstm-crf 两种算法进行实验对比,两个算法最 终的结果都优于 jieba、hanlp 等开源的分词;最终上线的是 crf++,部署方式是 flask。 2. 实体识别和抽取:主要针对于翻译中出现的中文实体进行优化和抽取;主要是对中文人 名/地名/音译名等进行抽取和识别模块;该部分主要基于人民日报数据+常用人名(包括外 国音译和日本名等),算法用的 bilstm+crf,部署也是 flask。
声明:本文仅代表作者观点,不代表本站立场。如果侵犯到您的合法权益,请联系我们删除侵权资源!如果遇到资源链接失效,请您通过评论或工单的方式通知管理员。未经允许,不得转载,本站所有资源文章禁止商业使用运营!
下载安装【程序员客栈】APP
实时对接需求、及时收发消息、丰富的开放项目需求、随时随地查看项目状态

评论