#128 · 主分类: MLOps与评测
GraphGen
GraphGen:通过知识驱动的合成数据生成增强大语言模型的监督微调
项目最后更新:08/17/26
GitHub Stars
1.2K
Forks数量
97
贡献者数量
13
许可证
Apache-2.0
收录理由
微调大模型时,高质量指令数据的获取常常让人头疼,手工标注既慢又贵,随机采样又难以保证覆盖度。GraphGen 另辟蹊径,先从你的原始资料里构建出一张细粒度的知识图谱,再依据图谱自动生成适合监督微调的问答对,整个过程不需要你逐条编写示例,也摆脱了对随机样本的依赖。如果你已经在用 LLaMA-Factory 或 XTuner 训练 Qwen、Llama 这类模型,它生成的数据可以直接接入现有流程,省去格式转换的麻烦。当你在某个垂直领域需要大量专业问答数据时,它的价值尤其明显——无论是想扩充小模型的领域知识,还是为特定任务准备训练集,它都提供了一条清晰可操作的路径。配套的论文和 cookbook 把原理讲得很透彻,照着做就能上手。对于想让模型在特定方向更有深度的人来说,这算是一个实在好用的扩数据方案。
相关文章
暂无针对该项目的文章。
如需补充新闻资讯、使用教程、应用测评等内容,欢迎 联系我们推荐选题或投稿。
同类热门项目
unsloth
本地UI,用于运行和训练LLM及扩散模型。支持GGUF、MLX、Qwen3.8、Kimi K3、MiniMax-H3、Gemma 4、FLUX等。
LlamaFactory
统一高效微调100+大语言模型与视觉语言模型(ACL 2024)
airflow
Apache Airflow - 一个以编程方式编写、调度和监控工作流的平台
langfuse
🪢 开源AI工程平台:LLM评估、可观测性、指标、提示管理、游乐场、数据集。与OpenTelemetry、LangChain、OpenAI SDK、LiteLLM等集成。🍊YC W23
netron
神经网络、深度学习和机器学习模型的可视化工具