cambrian

收录理由

Cambrian-1 适合那些正在构建视觉语言助手、并且希望整个技术栈完全开放而不依赖托管 API 的开发者。这个项目把重心放在视觉一侧：它没有直接把通用的视觉嵌入喂给语言模型，而是训练了多个视觉编码器，再以视觉优先的方式把它们接入语言主干。代码仓库里不光有模型权重，还提供了训练和微调的完整代码，同时发布了包含 1000 万张图像的数据集，以及用于检验视觉 grounding 能力的 CV-Bench 基准。这是一套研究性质的软件，需要你自己用 PyTorch 跑起来，所以它更适合那些想要复现论文结果、或者打算用自己的数据重新训练一个开源多模态基线的团队。