garak

收录理由

garak 是一款命令行扫描工具，专门用来探测大语言模型在压力下的行为表现。你可以把它指向 Hugging Face 上的模型检查点、gguf 文件，或者 OpenAI、Bedrock、Replicate 等推理端点，它会针对提示注入、越狱、数据泄露、毒性生成等具体失效模式逐项测试，并给出每个探针的通过率或失败率。这份输出既能作为模型上线前 CI 流程里的常规安全闸门，也能在评估新供应商或开源权重模型时充当一次按需红队演练。把它比作 LLM 界的 nmap 并不夸张：它负责枚举目标的暴露面，而不是监控或防御，因此可以无缝嵌入已有的审计流程，无需部署重型平台。安全工程师和应用开发者若想在用户发现漏洞之前掌握模型的薄弱环节，这个工具能提供实实在在的帮助。