TopOpenSourceAI
EN

#10 · 主分类： MLOps与评测

promptfoo

ci ci-cd cicd evaluation evaluation-framework llm llm-eval llm-evaluation llm-evaluation-framework llmops pentesting prompt-engineering prompt-testing prompts rag red-teaming testing vulnerability-scanners

测试你的提示词、智能体和RAG。针对AI的红队/渗透测试/漏洞扫描。比较GPT、Claude、Gemini、DeepSeek等性能。简单的声明式配置，支持命令行和CI/CD集成。被OpenAI和Anthropic使用。

项目最后更新：08/29/26

在 GitHub 查看 访问官网

GitHub Stars

24.7K

Forks数量

2.2K

贡献者数量

325

许可证

MIT

收录理由

Promptfoo 是一套面向 LLM 应用的测试工具，你可以在配置文件中用声明式写法定义测试用例，然后通过命令行或库的方式运行，系统会并排展示不同提示词和模型提供方的输出对比。它同时覆盖安全层面，内置自动化红队测试和漏洞扫描，能够识别越狱攻击、提示注入以及合规风险。由于它在本地运行并直接调用模型 API，你可以把它接入 CI/CD 流程，无需将数据外传。如果你正在对比 GPT、Claude、Gemini 或开源权重模型，当提示词不断调整时，它能帮你快速发现性能回退，省去反复试错的麻烦。

相关文章

暂无针对该项目的文章。

如需补充新闻资讯、使用教程、应用测评等内容，欢迎 联系我们推荐选题或投稿。

同类热门项目

unsloth

本地UI，用于运行和训练LLM及扩散模型。支持GGUF、MLX、Qwen3.8、Kimi K3、MiniMax-H3、Gemma 4、FLUX等。

#1

LlamaFactory

统一高效微调100+大语言模型与视觉语言模型（ACL 2024）

#2

airflow

Apache Airflow - 一个以编程方式编写、调度和监控工作流的平台

#3

langfuse

🪢 开源AI工程平台：LLM评估、可观测性、指标、提示管理、游乐场、数据集。与OpenTelemetry、LangChain、OpenAI SDK、LiteLLM等集成。🍊YC W23

#4

netron

神经网络、深度学习和机器学习模型的可视化工具

#5