weixin_public_corpus

收录理由

做中文自然语言处理的人，这份语料算是个难得的实物：几个GB的真实微信公众号文章，HTML已经剥干净，每行一条JSON，字段里带着公众号名字、ID、标题和正文。这种结构丢进pandas或者直接接文本处理流程都很顺手，拿来训练语言模型、做主题分类或者分析当代中文的情感倾向都挺合适。数据用无密码的zip分卷打包，还附了预览文件，可以先看看内容再决定要不要全量下载。不过要心里有数，它是个研究用的语料集，不是持续维护的工具——清洗工作得自己来，而且这个库从2019年起就没再更新过了。