#159 · 主分类： MLOps与评测
llm-colosseum
通过在《街头霸王3》中对战来评测LLM！评估LLM质量的新方法
项目最后更新：03/21/25
GitHub Stars
1.5K
Forks数量
182
贡献者数量
12
许可证
MIT
收录理由
这个项目把大模型评测从枯燥的问答测试变成了《街头霸王3》的实时对战。两个模型在游戏里直接交手，谁能在变化不断的画面中快速读懂战局并做出有效反应，谁就赢。仓库同时提供了文本机器人和视觉机器人两种接入方式，前者把游戏状态描述成文字喂给模型，后者直接传截图，方便对比纯文本模型和多模态模型在同样场景下的表现差异。它还支持通过 Ollama 做本地推理，小团队想跑自己的对战实验时，不用为每次尝试都付 API 费用，直接在本地就能完成。这种把游戏当作评测场地的思路，既直观又好玩，让模型的能力高低一眼就能看出来。
相关文章
暂无针对该项目的文章。
如需补充新闻资讯、使用教程、应用测评等内容，欢迎 联系我们推荐选题或投稿。
同类热门项目
unsloth
本地UI，用于运行和训练LLM及扩散模型。支持GGUF、MLX、Qwen3.8、Kimi K3、MiniMax-H3、Gemma 4、FLUX等。
LlamaFactory
统一高效微调100+大语言模型与视觉语言模型（ACL 2024）
airflow
Apache Airflow - 一个以编程方式编写、调度和监控工作流的平台
langfuse
🪢 开源AI工程平台：LLM评估、可观测性、指标、提示管理、游乐场、数据集。与OpenTelemetry、LangChain、OpenAI SDK、LiteLLM等集成。🍊YC W23
netron
神经网络、深度学习和机器学习模型的可视化工具