dinov3-finetune

收录理由

微调自监督视觉骨干做分割，通常要么冻结编码器只训练解码头，要么全量更新权重却担心灾难性遗忘。这个仓库走了一条中间路线：用低秩适配（LoRA）在DINOv2或DINOv3的每个编码器模块之间插入少量可训练参数，原始权重保持不变，再配合一个简单的1×1卷积解码器完成分割任务。解释笔记详细梳理了LoRA的搭建思路，命令行则支持在Pascal VOC和ADE20k上跨模型规模与解码器类型跑真实实验，方便你对比LoRA与仅训练解码头的效果。结果里还包含了ImageNet-C风格损坏下的鲁棒性检查，对处理噪声或退化输入的分割场景很有参考价值。此外，嵌入可视化笔记展示了不同分辨率下编码器学到的表征，顺带能用高分辨率直接查看DINOv3更干净的PCA输出，不必依赖FeatUp。