Baichuan-7B

收录理由

百川智能推出的Baichuan-7B是一个70亿参数规模的预训练语言模型，采用Apache 2.0许可发布，商用门槛低。模型在约1.2万亿tokens上完成训练，支持4096长度的上下文窗口，仓库里直接给出了tokenizer、评估脚本，以及数据过滤和混合的详细说明，照着就能复现论文里C-Eval、MMLU、高考和AGIEval的评测结果。中文优化的tokenizer加上熟悉的LLaMA风格Transformer结构，让它在处理中英双语任务时显得顺手，适合作为团队二次开发的底座。需要留意的是，它属于基础模型而非对话助手，想直接做成产品得先做微调或适配对话。Hugging Face的接入很顺畅，复现命令也都公开，做研究和下游实验都很方便。