jailbreak_llms

收录理由

这份数据集对做提示词加固的安全团队来说，能派上实实在在的用场。它支撑了一篇CCS 2024的同行评审论文，汇集了从Reddit、Discord、提示词分享站点以及开源仓库抓取的15140条真实ChatGPT提示词，其中大约1405条被识别为越狱尝试。仓库里还附带了一套390个问题的违禁场景集，这些场景源自OpenAI的使用政策，另有一个评分脚本，用来衡量模型在面对这些请求时的抵抗表现。你可以直接通过Hugging Face Datasets库把这些提示词拉进自己的流程里，方便地测试防御效果或是搭建红队评估。由于这些都是现实世界中的攻击样本，而非合成例子，它们为检验你的防护措施能否经得住实际使用提供了一个接地气的基准。