img2dataset

收录理由

把一份图片链接清单变成能直接用来训练的数据集，中间那些琐碎步骤常常让人头疼。img2dataset 就是为自动化这些枯燥环节而生的：它用高并发把图片下载下来，按需调整尺寸，再打包成 webdataset 的 tar 分片或普通文件夹，如果源数据里带了文字说明，也会一并保存。项目附带的可运行示例特别实用，从 mscoco 的 60 万对图文到 LAION-5B 的数十亿规模，都给出了具体命令和耗时预估，方便你在投入硬件前先心里有数。默认情况下它还会遵守 X-Robots-Tag 的 opt-out 头，做大规模抓取时，这能帮你避开网站方不欢迎的内容。单机大约 20 小时处理 1 亿个 URL，这个数字本身就说明它是冲着真实生产环境去的。