word_forms

收录理由

多数自然语言处理工具在做词形还原时，往往只给出一个基础词形，可一旦需要把“run”和“ran”视为同一词，或把“politician”与“politics”归并处理，这种简化就不够用了。word_forms 走的是另一条路：调用一个函数，就能把某个词所有相关的表面形式一并返回，比如输入“president”，得到的字典里同时包含“presidential”“presidency”以及动词“preside”。返回结果按词性分键，结构清晰，还允许通过相似度阈值来控制扩展的广度。对于搜索归一化、文本分析，或者任何希望把相关词当作同一概念来处理的预处理环节，这个库都能派上用场，省去自己编写词形变化规则的麻烦。