#178 · 主分类: MLOps与评测

simple-llm-finetuner

ai gpt-2 gpt-3 huggingface huggingface-transformers llama llm peft pytorch

用于大语言模型微调的简单界面

项目最后更新:12/21/23

GitHub Stars

2.1K

Forks数量

131

贡献者数量

5

许可证

MIT

收录理由

这个项目用 Gradio 搭了一个可视化界面,让你能直接对 GPT、LLaMA 这类 Hugging Face 模型跑 LoRA 微调,底层走的是 PEFT 库。它面向的是想亲眼看看适配器训练是怎么回事、但不想手写训练循环的人:把文本样本按空行分隔粘贴进去,界面上每个超参数都配有说明,调整好后在单张 NVIDIA 显卡上训练,之后打开推理标签页就能试用刚训出来的适配器。作者已经明确标注这个仓库实际上已经停止维护,并建议改用 LLaMA-Factory、Unsloth 和 text-generation-webui,所以不适合作为二次开发的基础。它剩下的价值在于,作为一个紧凑且易读的参考,能帮你理解 LoRA 和 PEFT 工作流是怎么拼在一起的,也能让你对这些工具期望的数据集格式有个直观感受。

相关文章

暂无针对该项目的文章。

如需补充新闻资讯、使用教程、应用测评等内容,欢迎 联系我们推荐选题或投稿。

同类热门项目