#174 · 主分类: 知识库与企业搜索

EnterpriseRAG-Bench

benchmark dataset enterprise enterprise-search evaluation generative-ai information-retrieval knowledge-base large-language-models llm llm-evaluation python question-answering rag rag-evaluation retrieval-augmented-generation semantic-search synthetic-data synthetic-data-generation

用于公司内部文档的RAG数据集和基准。

项目最后更新:05/08/26

GitHub Stars

536

Forks数量

56

贡献者数量

3

许可证

MIT

收录理由

公开的RAG基准测试大多基于干净、格式规范的文档构建,但这与真实的企业搜索场景相去甚远。EnterpriseRAG-Bench提供了一个包含约五十万份文档的语料库,这些文档来自九个贴近实际的来源,涵盖Slack频道、Gmail邮件线程、Linear工单、会议记录和客服工单等,并附带500个测试问题。这些问题专门设计来考验那些简单的检索系统:有些需要模型综合相互矛盾的文档,有些则检验模型能否判断答案根本不在语料库中。整个数据集模拟了一家名为Redwood Inference的虚构公司,因此数据中保留了真实组织内部常见的混乱与琐碎。如果你的语料库形态不同,项目代码还能为你的行业或公司规模生成类似的基准,这对于希望测试集更贴近自身实际环境的团队来说,是一个很实用的起点。

相关文章

暂无针对该项目的文章。

如需补充新闻资讯、使用教程、应用测评等内容,欢迎 联系我们推荐选题或投稿。

同类热门项目