ModernBERT

收录理由

ModernBERT 是 Answer.AI 与 LightOn 合作推出的双向编码器研究代码库，适合想深入复现或扩展预训练流程的开发者，而非仅仅加载现成权重。仓库基于 Composer 构建，所有实验都通过 YAML 配置文件驱动，并提供了预训练和 GLUE 评估的明确入口，同时支持流式与本地数据集的加载。它还附带了一些实用的训练示例，比如基于 ModernBERT 训练稠密 Sentence-Transformers 模型，以及用 PyLate 训练 ColBERT 模型。如果追求生产级推理集成，可以转向 Hugging Face 模型集合；而这里主要面向那些希望亲自训练、评估和试验编码器模型的研究者与工程师。