Visual-RFT

收录理由

Visual-RFT是DeepSeek-R1强化学习策略在视觉语言模型上的首个系统化实现。它不走常见的监督微调路线，而是让Qwen2-VL在GRPO训练循环中，根据基于规则的、针对具体任务的奖励信号来探索和优化，从而在开放词汇检测、少样本检测、推理定位、细粒度图像分类等感知任务上获得更优表现。对于已经感受到普通指令微调瓶颈的研究者和工程师，这套代码库提供了实用的备选方案：仓库自带训练脚本、评估工具和Hugging Face数据集，也支持从自己的JSON或HF数据构建训练集；作者报告几百个样本、约两百步迭代往往就够用。它既可以作为复现ICCV 2025论文结果的参考实现，也可以作为改造奖励设计、迁移到自定义视觉任务的基础。