#177 · 主分类: MLOps与评测
Safety-Prompts
中文安全prompts,用于评估和提升大模型的安全性。
项目最后更新:02/27/24
GitHub Stars
1.2K
Forks数量
89
贡献者数量
1
许可证
Apache-2.0
收录理由
这是一份体量可观的中文安全提示词数据集,约十万条提示并附带ChatGPT回复,专门用来检验大模型在中文场景下的安全表现。提示词按场景和攻击方式做了细分类:七类常见风险情境,包括辱骂、歧视、人身伤害等;另外还有六种指令攻击模式,比如目标劫持、提示词泄露。这种分类方式让开发者能快速给模型输出打分,定位薄弱环节,对做红队测试或者调校中文模型的人很实用。数据集也可以拿来做微调素材,帮助模型生成更安全的回复。不过作者自己提醒,这批数据更适合训练和微调;如果要做正式评测,他们推荐使用SafetyBench平台。
相关文章
暂无针对该项目的文章。
如需补充新闻资讯、使用教程、应用测评等内容,欢迎 联系我们推荐选题或投稿。
同类热门项目
unsloth
本地UI,用于运行和训练LLM及扩散模型。支持GGUF、MLX、Qwen3.8、Kimi K3、MiniMax-H3、Gemma 4、FLUX等。
LlamaFactory
统一高效微调100+大语言模型与视觉语言模型(ACL 2024)
airflow
Apache Airflow - 一个以编程方式编写、调度和监控工作流的平台
langfuse
🪢 开源AI工程平台:LLM评估、可观测性、指标、提示管理、游乐场、数据集。与OpenTelemetry、LangChain、OpenAI SDK、LiteLLM等集成。🍊YC W23
netron
神经网络、深度学习和机器学习模型的可视化工具