weibo_terminater

收录理由

做中文对话模型的人都会撞上同一堵墙：干净又大规模的真实语料实在太难找。这个爬虫能抓取微博公开的帖子、评论和关注者信息，让你自己攒语料，不用去花钱买或者费劲从别的封闭源里挖。它最特别的地方是有一段脚本，能把评论区里的你来我往抽成对话对，这正是拿来训练聊天机器人最需要的形态，而不是一堆没法直接用的原始文本。爬虫还支持多账号轮换，绕开访问频率限制，也支持断点续爬，跑长任务时省心不少。作者在说明里明确讲这东西只供学术研究，代码自2019年后也没再动过，所以别把它当成还在维护的服务，当一套值得借鉴的技术方案和原材料看更合适。想要中文对话数据的人，即便最后要重写抓取那层，回复对提取和防封号的思路也够研究一阵。