gse 是一个Go语言高效分词，支持英文、中文、日文等。
词典用双数组trie（Double-ArrayTrie）实现， 分词器算法为基于词频的最短路径加动态规划,以及DAG和HMM算法分词.支持HMM分词,使用viterbi算法。支持普通、搜索引擎、全模式、精确模式和HMM模式多种分词模式，支持用户词典、词性标注，可运行 JSONRPC服务。分词速度单线程 9.2MB/s，goroutines并发 26.8MB/s.HMM模式单线程分词速度3.2MB/s.（双核4线程MacbookPro）。
点击空白处退出提示
评论