TopOpenSourceAI
EN

#81 · 主分类： MLOps与评测

Soup

cli consumer-gpu dpo fine-tuning gguf huggingface llm llmops local-ai local-llm lora low-vram machine-learning ollama peft python pytorch qlora sft transformers

从一个YAML文件微调LLM。Layer streaming在4GB笔记本GPU上训练8B模型。

项目最后更新：08/29/26

在 GitHub 查看 访问官网

GitHub Stars

3.6K

Forks数量

551

贡献者数量

32

许可证

Apache-2.0

收录理由

在笔记本或单张消费级显卡上微调现代大模型，通常意味着要手工调配量化参数、批次大小和适配器配置，繁琐且容易出错。Soup 把这些步骤压缩进一个 YAML 文件和一条 `soup train` 命令，小团队无需租用 GPU 集群，就能从原始数据一路走到调好的模型。它的层流式处理把冻结的基座模型移出显存，逐层送入解码器，配合 QLoRA 风格的 NF4 量化，8B 模型也能在 4 GB 显存的显卡上完成训练。除了监督微调，它还支持 DPO、ORPO、SimPO、KTO 等偏好优化方法，并附带合成奖励函数、合并适配器、导出 GGUF 供本地推理的工具。对于想在已有硬件上自主掌控模型调优的开发者来说，这套方案相当实用。

相关文章

暂无针对该项目的文章。

如需补充新闻资讯、使用教程、应用测评等内容，欢迎 联系我们推荐选题或投稿。

同类热门项目

unsloth

本地UI，用于运行和训练LLM及扩散模型。支持GGUF、MLX、Qwen3.8、Kimi K3、MiniMax-H3、Gemma 4、FLUX等。

#1

LlamaFactory

统一高效微调100+大语言模型与视觉语言模型（ACL 2024）

#2

airflow

Apache Airflow - 一个以编程方式编写、调度和监控工作流的平台

#3

langfuse

🪢 开源AI工程平台：LLM评估、可观测性、指标、提示管理、游乐场、数据集。与OpenTelemetry、LangChain、OpenAI SDK、LiteLLM等集成。🍊YC W23

#4

netron

神经网络、深度学习和机器学习模型的可视化工具

#5