自然语言处理与文本处理

用于语言检测、文本分类、分词、文本规范化等核心自然语言处理任务的库和工具。

共 124 个项目

排名逻辑见 方法论 ;同类排名基于 GitHub 公开指标。

第 21–40 项,共 124 个

排名 项目 Stars Forks
21 libpostal

用于解析/规范化全球街道地址的C库,基于统计NLP和开放地理数据。

4.9K 470
22 json_repair

在Python中修复来自LLM、API、日志和用户输入的畸形JSON。

5.1K 214
23 flashtext

从句子中提取关键词或替换句子中的关键词。

5.7K 597
24 ltp

语言技术平台

5.3K 1.1K
25 WantWords

一个开源的在线反向词典。

7.1K 611
26 spark-nlp

最先进自然语言处理

4.2K 744
27 Synonyms

:herb: 中文近义词:聊天机器人,智能问答工具包

5.1K 886
28 nlpaug

面向NLP的数据增强

4.7K 473
29 simpletransformers

用于信息检索、文本分类、NER、QA、语言建模、语言生成、T5、多模态和对话式AI的Transformers

4.3K 713
30 text2vec

文本向量表征工具,把文本转化为向量矩阵,实现了Word2Vec、RankBM25、Sentence-BERT、CoSENT等文本表征、文本相似度计算模型,开箱即用。

5.0K 428
31 DeepKE

[EMNLP 2022] 开源知识图谱抽取与构建工具包

4.5K 750
32 Promptify

提示工程 | 提示版本控制 | 使用GPT或其他基于提示的模型获取结构化输出。加入我们的Discord以获取提示工程、LLM和其他最新研究。

4.6K 364
33 OpenPrompt

一个用于提示学习的开源框架。

4.9K 476
34 gigatoken

语言模型分词,速度达GB/s

4.1K 219
35 TextAttack

TextAttack 🐙 是一个用于NLP中对抗攻击、数据增强和模型训练的Python框架 https://textattack.readthedocs.io/en/master/

3.5K 459
36 JioNLP

中文NLP预处理、解析工具包,准确、高效、易用。官网:www.jionlp.com

3.9K 441
37 sumy

用于文本文件和HTML页面自动摘要的模块。

3.7K 539
38 textlint

textlint 是可插拔的自然语言文本检查器。

3.2K 166
39 franc

自然语言检测

4.4K 182
40 MatchZoo

促进深度文本匹配模型的设计、比较与共享。

3.9K 890