#777 · 主分类: 教育与研究

nlp-in-practice

gensim machine-learning natural-language-processing nlp text-classification text-mining tf-idf word2vec

用于解决现实世界文本数据问题的入门代码。包括:Gensim Word2Vec、短语嵌入、使用逻辑回归进行文本分类、使用pyspark进行单词计数、简单的文本预处理、预训练嵌入等。

项目最后更新:12/02/20

GitHub Stars

1.2K

Forks数量

785

贡献者数量

4

许可证

Other

收录理由

这是一个非常实用的NLP入门资源库,里面有一组小型notebook,覆盖了数据团队日常处理文本时真正会遇到的场景:清洗原始文本、用TF-IDF提取关键词、训练逻辑回归模型做新闻分类、让Word2Vec训练出理想结果。每个示例都配有简短的教程文章和配套数据集,你可以从头到尾跟着跑一遍,不用再到处找输入数据。对于初学者来说,很多容易卡住的细节在这里都有清晰的解答,比如TFIDFTransformer和TFIDFVectorizer到底有什么区别,以及什么情况下该选HashingVectorizer而不是CountVectorizer。由于每个任务都是独立成篇的,这个仓库最适合当作一本配方书来用,从里面直接借鉴现成的处理套路,而不是拿去做生产部署。同时,它也是学习经典Gensim和scikit-learn文本处理流程的好伴侣,现在很多现代LLM工具正是从这套流程发展出来的。

相关文章

暂无针对该项目的文章。

如需补充新闻资讯、使用教程、应用测评等内容,欢迎 联系我们推荐选题或投稿。

同类热门项目