imagededup

收录理由

重复图片会悄悄占据存储空间，还会让数据集变得混乱，imagededup 正是为解决这个问题而生的。这个 Python 包提供了感知哈希、差异哈希、小波哈希和平均哈希，可以快速找出完全相同的图片；同时它还支持基于 CNN 的方法，能捕捉那些经过缩放或编辑的近似重复图片。两种手段配合起来很顺手：先用成本很低的哈希算法在大规模图片集合里扫一遍，再对哈希难以处理的编辑图片动用神经网络。项目还带了一个评估框架，能把去重结果和人工标注的基准映射做对比，让你在接入正式流程前确认这一轮去重确实有效。几行 Python 代码就能生成图片编码、找出重复项，并把匹配结果画出来供人眼检查。