Otter

收录理由

对于正在开发或微调视觉-语言模型的团队，Otter提供了一个经过验证的代码库，而不是需要从头复现的论文。它延续了OpenFlamingo的Flamingo风格架构，一个模型即可处理交错的图像和文本输入，仓库中包含了预训练、指令微调和RLHF的训练脚本。OtterHD基于Fuyu-8B构建，去掉了显式的视觉编码器，直接处理高分辨率图像块，并提供了使用FlashAttention-2的微调脚本。研究者还可以使用统一的数据加载器来读取常见多模态数据集，并通过一键式工具在八个基准上运行GPT-4V评估。如果你关注混合视觉与文本输入上的上下文学习，这个项目是一个值得研究和改造的扎实基础。