Phi2-mini-Chinese

收录理由

这个0.2B参数的中文模型沿用了Phi-2的架构，但项目真正的价值在于完整记录了从零训练的全过程，而不只是丢出一个训练好的权重。仓库按顺序展示了数据清洗、BPE分词器训练、因果语言模型预训练、指令微调以及DPO偏好优化，每一步都有具体说明。Hugging Face上的权重可以直接加载用于中文文本生成，还附带了一个示例，演示如何通过LangChain把模型接入本地知识库做检索增强问答。作者也坦承这是实验性项目，预训练数据有限，更适合当作动手训练自己小模型的起点，而非直接上生产的助手。