TopOpenSourceAI
EN

#100 · 主分类： MLOps与评测

future-agi

ai-agents ai-evals ai-gateway ai-optimization ai-simulations evaluation-framework guardrails hallucination-detection llm llm-evaluation llm-observability llmops model-evaluation observability opentelemetry rag rag-evaluation simulation telemetry tracing

开源的端到端平台，用于评估、观察和改进LLM及AI代理应用。追踪·评估·模拟·数据集·网关·护栏。可自托管。Apache 2.0。

项目最后更新：08/30/26

在 GitHub 查看 访问官网

GitHub Stars

1.9K

Forks数量

562

贡献者数量

64

许可证

Apache-2.0

收录理由

做LLM Agent的团队，常常要在链路里拼凑好几套工具，追踪、评测、调提示词各管一摊。future-agi把这些活儿收拢到一个可自托管的平台上，核心是一条闭环：上线前先用合成用户跑模拟，用内置或自定义指标打分，上线后追踪真实流量抓问题，再把观测结果反哺回优化环节。因为所有功能都读同一份trace、数据集和分数，线上暴露的缺陷会自然变成新的评测样本和优化目标，工作成果不断累积，而不是散落在不同工具里。它接入成本很低，一行代码就能起步，兼容现有技术栈，支持的模型供应商也广，对想统一事实来源的工程师和产品经理都很实用。如果你真正的瓶颈是让Agent保持可靠，与其继续添置零散工具，不如先试试这个平台。

相关文章

暂无针对该项目的文章。

如需补充新闻资讯、使用教程、应用测评等内容，欢迎 联系我们推荐选题或投稿。

同类热门项目

unsloth

本地UI，用于运行和训练LLM及扩散模型。支持GGUF、MLX、Qwen3.8、Kimi K3、MiniMax-H3、Gemma 4、FLUX等。

#1

LlamaFactory

统一高效微调100+大语言模型与视觉语言模型（ACL 2024）

#2

airflow

Apache Airflow - 一个以编程方式编写、调度和监控工作流的平台

#3

langfuse

🪢 开源AI工程平台：LLM评估、可观测性、指标、提示管理、游乐场、数据集。与OpenTelemetry、LangChain、OpenAI SDK、LiteLLM等集成。🍊YC W23

#4

netron

神经网络、深度学习和机器学习模型的可视化工具

#5