#176 · 主分类： MLOps与评测
ChatGLM-Finetuning
基于ChatGLM-6B、ChatGLM2-6B、ChatGLM3-6B模型，进行下游具体任务微调，涉及Freeze、Lora、P-tuning、全参微调等
项目最后更新：12/12/23
GitHub Stars
2.8K
Forks数量
308
贡献者数量
2
许可证
Other
收录理由
想要把ChatGLM-6B、ChatGLM2-6B或ChatGLM3-6B用到自己的任务上？这个仓库给出了四种微调路径的实战代码：冻结（只更新部分层）、LoRA、P-Tuning和全参数更新。训练环节绕开了Trainer，直接基于DeepSpeed构建，逻辑清楚，想改训练循环时不必翻箱倒柜。脚本同时支持单卡与多卡，并配有梯度检查点和offload选项，显存不够时能救急。针对信息抽取、文本生成和分类任务，仓库也提供了评测脚本。对中文NLP爱好者，或是想用不太高的成本微调6B模型的人，这里是个值得翻看的起点。注意，这只是一套训练代码，不是部署服务。
相关文章
暂无针对该项目的文章。
如需补充新闻资讯、使用教程、应用测评等内容，欢迎 联系我们推荐选题或投稿。
同类热门项目
unsloth
本地UI，用于运行和训练LLM及扩散模型。支持GGUF、MLX、Qwen3.8、Kimi K3、MiniMax-H3、Gemma 4、FLUX等。
LlamaFactory
统一高效微调100+大语言模型与视觉语言模型（ACL 2024）
airflow
Apache Airflow - 一个以编程方式编写、调度和监控工作流的平台
langfuse
🪢 开源AI工程平台：LLM评估、可观测性、指标、提示管理、游乐场、数据集。与OpenTelemetry、LangChain、OpenAI SDK、LiteLLM等集成。🍊YC W23
netron
神经网络、深度学习和机器学习模型的可视化工具