#88 · 主分类： MLOps与评测
OSWorld
[NeurIPS 2024] OSWorld：在真实计算机环境中对多模态智能体进行开放式任务的基准测试
项目最后更新：08/21/26
GitHub Stars
3.1K
Forks数量
528
贡献者数量
101
许可证
Apache-2.0
收录理由
OSWorld 提供了一个真实桌面环境下的智能体评测方案，它不依赖简化模拟器，而是让智能体在真实的虚拟机上操作 Ubuntu 或 Windows，完成具体任务并给出明确的通过或失败判定。仓库里除了任务数据，还附带了评测框架和基线模型，你可以直接接入自己的模型获得可对比的分数。对于做 UI 自动化、数字助手或通用计算机智能体的团队来说，这是一把实用的尺子；任务定义也足够细致，完全可以借鉴到自己的项目里。新版 OSWorld-Verified 改进了评分流程，还支持在 AWS 上并行运行，大幅缩短了大规模评测的时间，值得关注。
相关文章
暂无针对该项目的文章。
如需补充新闻资讯、使用教程、应用测评等内容，欢迎 联系我们推荐选题或投稿。
同类热门项目
unsloth
本地UI，用于运行和训练LLM及扩散模型。支持GGUF、MLX、Qwen3.8、Kimi K3、MiniMax-H3、Gemma 4、FLUX等。
LlamaFactory
统一高效微调100+大语言模型与视觉语言模型（ACL 2024）
airflow
Apache Airflow - 一个以编程方式编写、调度和监控工作流的平台
langfuse
🪢 开源AI工程平台：LLM评估、可观测性、指标、提示管理、游乐场、数据集。与OpenTelemetry、LangChain、OpenAI SDK、LiteLLM等集成。🍊YC W23
netron
神经网络、深度学习和机器学习模型的可视化工具