http-scws http协议中文分词

我要开发同款
匿名用户2011年06月08日
34阅读
开发技术C/C++
所属分类程序开发、中文分词库
授权协议Apache

作品详情

2011-06-26更新至2.0版1.增加规则2.增加词性分词3.JSON格式返回数据

http-scws(基于scws的http协议中文分词),软件基于scws1.1.7版本二次开发,基于libevent进行http封装,请求更简单

功能:

1.词库为文本文件方式,增加、删除更方便2.支持gbk与utf-8(基于scws功能)3.运行中可修改词库,不停服务只需一个命令即可使新词库生效4.最大150K文本提交5.可分词、提取高频词6.支持GET与POST方式7.支持短词、二元、主要单字、全部单字(基于scws功能)8.支持标点过滤(基于scws功能)

简单测试结果:

AMD64位台式机四核CPU,程序加载词库后占用21M内存,使用10进程不间断请求请求,内存无增加,CPU使用率在30%多

此项目开源,压缩包里有源代码及编译后的程序,有特殊需要的可自行修改源程序,编译后程序的编译环境为:amd64位4核CPU,centos5.564位系统,内核为:2.6.18-194.el5

声明:本文仅代表作者观点,不代表本站立场。如果侵犯到您的合法权益,请联系我们删除侵权资源!如果遇到资源链接失效,请您通过评论或工单的方式通知管理员。未经允许,不得转载,本站所有资源文章禁止商业使用运营!
下载安装【程序员客栈】APP
实时对接需求、及时收发消息、丰富的开放项目需求、随时随地查看项目状态

评论