simhash simhash算法库

我要开发同款
匿名用户2014年12月13日
33阅读
开发技术C/C++
所属分类人工智能、自然语言处理
授权协议MIT

作品详情

专门针对中文文档的simhash算法库简介

此项目用来对中文文档计算出对应的simhash值。simhash是谷歌用来进行文本去重的算法,现在广泛应用在文本处理中。

详见SimhashBlog

特性

使用 CppJieba 作为分词器和关键词抽取器

使用 jenkins 作为hash函数

hpp 风格,所有源码都是 .hpp 文件里面,方便使用。 没有链接,就没有伤害。

依赖

g++(version>=4.1recommended),orclang++.

用法mkdir build cd buildcmake ..make演示./bin/simhash.demo

结果如下:

文本:"我是蓝翔技工拖拉机学院手扶拖拉机专业的。不用多久,我就会升职加薪,当上总经理,出任CEO,走上人生巅峰。"关键词序列是: ["蓝翔:11.7392", "CEO:11.7392", "升职:10.8562", "加薪:10.6426", "手扶拖拉机:10.0089"]simhash值是: 17831459094038722629100010110110和110001110011 simhash值的相等判断如下:海明距离阈值默认设置为3,则isEqual结果为:0海明距离阈值默认设置为5,则isEqual结果为:1

详情请看 src/main.cpp

客服

i@yanyiwu.com

声明:本文仅代表作者观点,不代表本站立场。如果侵犯到您的合法权益,请联系我们删除侵权资源!如果遇到资源链接失效,请您通过评论或工单的方式通知管理员。未经允许,不得转载,本站所有资源文章禁止商业使用运营!
下载安装【程序员客栈】APP
实时对接需求、及时收发消息、丰富的开放项目需求、随时随地查看项目状态

评论