NLP拼写纠错任务(Spellcorrect)

我要开发同款
Joe 沫尔  2022年03月31日
546阅读

作品详情

主要任务就是负责滴滴搜索中的query纠错,我们使用了一种GAN对抗网络,其中生成模型主要是为了生成更加隐蔽的错误数据,然后还有一个判别器主要是为了提高模型对整个query的检测能力,纠错的主体架构是由一个GAN网络加上一个bert和ngram结构组成,我们在bert结尾加了一层线层用来判其中GAN和bert主要负责检测错误单词,ngram负责纠错,其中我们为了使得纠正之后的数据更加符合用户的意图,我们去掉了单个单词词频对结果的影响,然后我们还会从键盘位置对满足条件的值适当的提高权重,以达到提高模型的纠正准确率。目前正在打算发一篇关于纠错的论文正在筹备当中。
声明:本文仅代表作者观点,不代表本站立场。如果侵犯到您的合法权益,请联系我们删除侵权资源!如果遇到资源链接失效,请您通过评论或工单的方式通知管理员。未经允许,不得转载,本站所有资源文章禁止商业使用运营!
下载安装【程序员客栈】APP
实时对接需求、及时收发消息、丰富的开放项目需求、随时随地查看项目状态

评论