ChatLM-mini-Chinese

收录理由

ChatLM-mini-Chinese的出发点很朴素：主流大模型参数动辄数十亿，消费级电脑连推理都吃力，更别提从头训练。这个项目干脆在低配置环境下，从零训练一个实用的中文对话模型。最终模型参数仅0.2B，float16加载只需约512MB显存，单张4GB显卡就能完成预训练。整个流程完全透明：数据来源、清洗与mini-hash去重代码、tokenizer训练、预训练、SFT指令微调、DPO偏好优化，全部开源。自定义训练器支持单卡或多卡运行，也能从任意检查点恢复训练。项目还给出了一个三元组信息抽取的微调示例，在保持对话能力的同时完成下游任务。它既是一个可直接部署的小模型，也是一份完整的中文大模型构建参考。