mmseg4j 中文分词器开源项目

1、mmseg4j用Chih-HaoTsai的MMSeg算法(https://technology.chtsai.org/mmseg/)实现的中文分词器，并实现lucene的analyzer和solr的TokenizerFactory以方便在Lucene和Solr中使用。

2、MMSeg算法有两种分词方法：Simple和Complex，都是基于正向最大匹配。Complex加了四个规则过虑。官方说：词语的正确识别率达到了98.41%。mmseg4j已经实现了这两种分词算法。

1.5版的分词速度simple算法是1100kb/s左右、complex算法是700kb/s左右，（测试机：AMDathlon642800+1G内存xp）。

1.6版在complex基础上实现了最多分词(max-word)。“很好听”->"很好|好听";“中华人民共和国”->"中华|华人|共和|国";“中国人民银行”->"中国|人民|银行"。

1.7-beta版,目前complex1200kb/s左右,simple1900kb/s左右,但内存开销了50M左右.上几个版都是在10M左右.

mmseg4j实现的功能详情请看：

https://mmseg4j.googlecode.com/svn/branches/mmseg4j-1.7/CHANGES.txthttps://mmseg4j.googlecode.com/svn/branches/mmseg4j-1.6/CHANGES.txt

3、在com.chenlb.mmseg4j.example包里的类示例了三种分词效果。

4、在com.chenlb.mmseg4j.analysis包里扩展luceneanalyzer。MMSegAnalyzer默认使用max-word方式分词(还有：ComplexAnalyzer,SimplexAnalyzer,MaxWordAnalyzer)。

5、在com.chenlb.mmseg4j.solr包里扩展solrtokenizerFactory。

dicPath指定词库位置（每个MMSegTokenizerFactory可以指定不同的目录，当是相对目录时，是相对solr.home的目录），mode指定分词模式（simple|complex|max-word，默认是max-word）。

6、运行，词典用mmseg.dic.path属性指定或在当前目录下的data目录，默认是./data目录。

java-Dmmseg.dic.path=./data-jarmmseg4j-1.6.jar这里是字符串。

java-cp.;mmseg4j-1.6.jarcom.chenlb.mmseg4j.example.Simple这里是字符串。

java-cp.;mmseg4j-1.6.jarcom.chenlb.mmseg4j.example.MaxWord这里是字符串

7、一些字符的处理英文、俄文、希腊、数字（包括①㈠⒈）的分出一连串的。目前版本没有处理小数字问题，如ⅠⅡⅢ是单字分，字库(chars.dic)中没找到也单字分。

8、词库(强制使用UTF-8)：

data/chars.dic是单字与语料中的频率，一般不用改动，1.5版本中已经加到mmseg4j的jar里了，我们不需要关心它，当然你在词库目录放这个文件可能覆盖它。

data/units.dic是单字的单位，默认读jar包里的，你也可以自定义覆盖它，这功能是试行，如果不喜欢它，可以空的units.dic文件覆盖它。

data/words.dic是词库文件，一行一词，当然你也可以使用自己的，1.5版本使用sogou词库，1.0的版本是用rmmseg带的词库。

data/wordsxxx.dic1.6版支持多个词库文件，data目录（或你定义的目录）下读到"words"前缀且".dic"为后缀的文件。如：data/words-my.dic。

Maven：