promptmap

收录理由

在把自建的LLM应用交给用户之前，提示注入是值得提前验证的故障点之一，而promptmap提供了一种可重复的测试方式。它会向目标模型或一个真实的HTTP端点发送攻击载荷，再借助独立的评判模型来判断攻击是否真的奏效。你可以提供自己的系统提示词做白盒测试，也可以写一份轻量YAML配置指向外部端点进行黑盒扫描。工具内置了五十多条测试规则，覆盖提示窃取、越狱、有害内容生成、偏见等方向，还允许你自定义通过或失败的条件。兼容OpenAI、Anthropic、Google、Grok以及通过Ollama运行的本地模型，这意味着多数技术栈都能直接接入，不必更换供应商。对于已经具备评测或QA流程的团队，这是一个直观的发布前检查手段，能尽早暴露提示词相关的薄弱环节。