TopOpenSourceAI
EN

#141 · 主分类： MLOps与评测

beir

benchmark bert colbert dataset deep-learning dpr elasticsearch information-retrieval llm nlp passage-retrieval pytorch question-generation rag retrieval retrieval-models sbert sentence-transformers zero-shot-retrieval

一个异构信息检索基准。易于使用，在15+个多样化的IR数据集上评估你的模型。

项目最后更新：10/16/25

在 GitHub 查看 访问官网

GitHub Stars

2.3K

Forks数量

251

贡献者数量

18

许可证

Apache-2.0

收录理由

选检索模型时，最怕的是它在没见过的数据上表现失准。BEIR 把超过 15 个预处理好的数据集装进同一套评测流程，稠密、稀疏、重排模型都走同样的管道，直接给出 NDCG@k、MAP、召回率这些标准指标，省去为每个数据集单独写胶水代码的麻烦。零样本分数如今成了对比嵌入模型和稠密检索器时的常用标尺，能在 BEIR 上跑出好成绩，对模型选型很有参考价值。项目也跟得上技术演进的节奏，支持基于 LLM 的嵌入，兼容 LoRA 和 vLLM 推理，这套能力在脱离传统 sentence-transformers 场景时相当实用。

相关文章

暂无针对该项目的文章。

如需补充新闻资讯、使用教程、应用测评等内容，欢迎 联系我们推荐选题或投稿。

同类热门项目

unsloth

本地UI，用于运行和训练LLM及扩散模型。支持GGUF、MLX、Qwen3.8、Kimi K3、MiniMax-H3、Gemma 4、FLUX等。

#1

LlamaFactory

统一高效微调100+大语言模型与视觉语言模型（ACL 2024）

#2

airflow

Apache Airflow - 一个以编程方式编写、调度和监控工作流的平台

#3

langfuse

🪢 开源AI工程平台：LLM评估、可观测性、指标、提示管理、游乐场、数据集。与OpenTelemetry、LangChain、OpenAI SDK、LiteLLM等集成。🍊YC W23

#4

netron

神经网络、深度学习和机器学习模型的可视化工具

#5