#80 · 主分类: 基础模型

TigerBot

chinese data llama2 llm nlp

TigerBot:一个多语言多任务的大语言模型

项目最后更新:12/28/24

GitHub Stars

2.3K

Forks数量

188

贡献者数量

19

许可证

Apache-2.0

收录理由

TigerBot 是一系列中英双语模型,在 Llama-2 检查点基础上继续预训练,扩展了中文词表并补充了涵盖中文、代码和推理的额外训练数据。模型规模从 7B 基座到 180B 变体不等,团队可以根据自身硬件条件选择合适的大小,不必被单一模型绑定。仓库不仅提供权重,还公开了训练配方、对齐方法(包括监督微调、拒绝采样和 DPO)以及基于 OpenCompass 的评测配置,方便复现结果。对于希望在开源模型上构建中文产品的团队来说,这是一个实用的起点;发布的技术报告则让研究者能深入了解每个版本背后的数据选择。

相关文章

暂无针对该项目的文章。

如需补充新闻资讯、使用教程、应用测评等内容,欢迎 联系我们推荐选题或投稿。

同类热门项目