gse

收录理由

Gse 把 jieba 的分词思路带到了 Go 生态里，对于需要在同一套代码中同时处理中文、日文和英文文本的场景，它提供了基于词典的切分能力，省去了额外运行 Python 服务的麻烦。它支持精确、通用、搜索引擎、全模式和 HMM 等多种分词模式，其中 Viterbi 算法能识别词典中未收录的词，这在面对 CJK 输入时是常见痛点。项目还提供了连接 Elasticsearch 和 Bleve 的适配器，让已经基于这些索引做多语言内容检索的团队，能够把分词逻辑直接放在数据链路附近。作为一个库而非独立服务，Gse 很适合那些希望把 NLP 能力直接嵌入自身业务服务的项目，部署和调用都更轻量。