tomotopy

收录理由

Tomotopy 把 C++ 写的吉布斯采样引擎包装成 Python 接口，这让它在处理大规模文本时训练主题模型的速度相当可观。它支持的模型种类很全，从基础的 LDA 到带标签或有监督的变体，再到层次狄利克雷过程、动态主题模型和 Pachinko 分配，都能找到对应实现，所以你可以根据手头数据的特性挑选合适的模型，而不是被某一种固定思路绑住。底层用 SIMD 加速，比纯 Python 实现的库要快不少，在迭代上百万篇文档时这个优势尤其明显。训练好的模型可以保存再加载，还附带一个基于浏览器的交互式查看器，能直观检查主题和词的分布，既适合做探索性分析，也能把训练好的模型直接接进现有流程。做文档聚类、内容打标或者语料库探索的团队，基本不用怎么配置就能上手用。