open_llama

收录理由

OpenLLaMA 是 Meta 旗下 LLaMA 模型的一个宽松许可开源复现版本，训练数据来自公开的 RedPajama 语料库以及后续混合数据集。项目提供了 3B、7B 和 13B 三种规模的检查点，这些模型均在约一万亿 token 上完成训练，权重同时涵盖 PyTorch 和 JAX 两种格式。由于权重设计为可直接替换原有 LLaMA 实现，开发团队可以在不依赖 Meta 原始许可条款的前提下进行微调或部署推理。仓库中还附带了 Hugging Face transformers 和 EasyLM 的检查点，以及与原始 LLaMA 模型对比的评估结果，方便使用者自行判断质量差异。如果你需要一个可以继续训练或定制的基础模型，而不是开箱即用的完整应用，这个项目值得关注。