fugashi

收录理由

日语文本不像英文那样用空格分词，任何像样的自然语言处理流程都得先把句子切成词才能继续往下做。fugashi 把 MeCab 这个在日语分词领域用得相当广泛的工具包了一层 Python 接口，直接返回词条、词性等 UniDic 字段的命名元组，省去了自己解析特征字符串的麻烦。它给 Linux、macOS 和 Windows 都提供了预编译的 wheel，装词典也只要加一个 pip 扩展包，基本免去了常见的环境配置折腾。除了 UniDic，你还能让它加载任意 MeCab 词典，处理速度也足够应付生产环境。无论是做搜索索引、情感分析，还是其他需要把日语拆成有意义单元的任务，它都是一个很实在的基础组件。