nsfw_data_scraper

收录理由

训练内容审核模型的人很快就会发现，真正的瓶颈往往不在模型结构，而在数据本身。这个项目用一组打包在Docker里的Shell脚本，自动从Reddit等Ripme支持的站点抓取数万张图片，粗略分成五类：色情、成人动漫、性感但不露骨的内容，以及适合工作场合的照片和画作。仓库作者已经提前跑完了收集链接的步骤，所以下载好的URL列表直接随项目附带，后续脚本则负责把图片分到训练和测试文件夹，并顺手清掉损坏的文件。作者也坦承数据本身比较嘈杂，需要使用者自行清洗后才能用于训练——不过考虑到省去了最繁琐的抓取环节，这个代价也算合理。如果想把分类器从头跑到尾，仓库里还提供了一个fastai笔记本作为参考。