#65 · 主分类： MLOps与评测
VLMEvalKit
开源的多模态大模型评估工具包，支持220+个多模态大模型，80+个基准测试
项目最后更新：08/28/26
GitHub Stars
4.4K
Forks数量
756
贡献者数量
284
许可证
Apache-2.0
收录理由
过去对比视觉语言模型，常常要切换不同的测试框架，还得针对每个基准重新整理数据格式，既繁琐又容易出错。VLMEvalKit把这一整套流程压缩成一条命令，小团队也能在几十个基准上统一跑评测，覆盖大量开源权重和商业模型。它的评分采用生成式评测，同时支持精确匹配和基于大模型的答案抽取，得到的指标反映的是模型本身的能力，而不是因为换了工具而产生的偶然差异。这些评测结果还会同步到公开的OpenVLM榜单，让你在投入算力之前，先快速了解候选模型在标准条件下的表现。无论是做模型选型、监控微调过程中的性能回退，还是产出经得起推敲的评测报告，它都是一个很顺手的工具。
相关文章
暂无针对该项目的文章。
如需补充新闻资讯、使用教程、应用测评等内容，欢迎 联系我们推荐选题或投稿。
同类热门项目
unsloth
本地UI，用于运行和训练LLM及扩散模型。支持GGUF、MLX、Qwen3.8、Kimi K3、MiniMax-H3、Gemma 4、FLUX等。
LlamaFactory
统一高效微调100+大语言模型与视觉语言模型（ACL 2024）
airflow
Apache Airflow - 一个以编程方式编写、调度和监控工作流的平台
langfuse
🪢 开源AI工程平台：LLM评估、可观测性、指标、提示管理、游乐场、数据集。与OpenTelemetry、LangChain、OpenAI SDK、LiteLLM等集成。🍊YC W23
netron
神经网络、深度学习和机器学习模型的可视化工具