#128 · 主分类: 基础模型

Lemur

code-generation language-model machine-learning natural-language-processing nlp text-reasoning

[ICLR 2024] Lemur:面向语言代理的开放基础模型

项目最后更新:10/28/23

GitHub Stars

557

Forks数量

35

贡献者数量

7

许可证

Apache-2.0

收录理由

Lemur 是一个 70B 参数的开源权重模型,它在自然语言推理和代码能力之间取得了平衡,适合作为构建工具调用型智能体的统一底座,而不是单纯的聊天机器人或现成的智能体框架。你可以通过标准的 transformers 流程加载基础版和指令微调版检查点,再接入自己的业务逻辑。仓库详细记录了分两阶段的训练方案:先在代码密集语料上对 Llama-2-70B 做持续预训练,再用文本和代码示例进行指令微调,这对想研究如何在同一模型里兼顾语言与编程能力的人很有参考价值。权重采用 Apache 许可证,并支持 vLLM 部署,自托管用于评测或微调都很方便。对于在智能体任务上寻找商业模型开源替代方案的团队,这里提供的检查点以及 MMLU、HumanEval、WebArena 等基准的评测脚本都可以直接上手使用。

相关文章

暂无针对该项目的文章。

如需补充新闻资讯、使用教程、应用测评等内容,欢迎 联系我们推荐选题或投稿。

同类热门项目