Kiwi

收录理由

做韩语文本处理的人常常会遇到一个两难：分词器要么跑得太慢，要么在遇到有歧义的句子时分析得乱七八糟。Kiwi 是一个用 C++ 实现的韩语形态素分析库，它基于世宗词性标注体系把韩语句子切分成最小语义单元，并且内置了一个轻量级语言模型，当句子可以有多种切分方式时，它能挑出更合理的那个结果。除此之外，它还能自动纠正一些简单的拼写错误，提供句子切分功能，并且从库的层面支持多线程，处理大批量文本时不会卡到让人失去耐心。核心代码被封装成了多种编程语言的接口，包括 Python，所以你不必为了用它而重写整个处理流程。如果你的项目需要在大规模数据上做韩语分词和词性标注，并且对准确率和速度都有要求，拿它跑一遍自己的语料再下结论，应该不会让你失望。