#91 · 主分类: MLOps与评测
trainer
基于Kubernetes的分布式AI模型训练与LLM微调
项目最后更新:08/29/26
GitHub Stars
2.2K
Forks数量
1.0K
贡献者数量
296
许可证
Apache-2.0
收录理由
在Kubernetes上跑训练,还没碰到模型,先得跟Pod、Worker和集群调度纠缠半天。Kubeflow Trainer就是把这些底层琐事接过去的那一层:TrainJob和Runtime API把多节点、多GPU的跑批变成了声明式资源,数据科学家想发起一个PyTorch或DeepSpeed任务,不用再手动连线。大规模LLM微调是它的主场,分布式数据缓存直接把张量喂给GPU节点,I/O不再卡在关键路径上。它也能融入更广的云原生生态,跟Kueue配合做调度,用JobSet或LeaderWorkerSet管工作负载。如果你们的平台本来就基于Kubernetes,用它换来的是可复现、感知集群的训练流程,而不是又一个靠kubectl拼出来的脚本。
相关文章
暂无针对该项目的文章。
如需补充新闻资讯、使用教程、应用测评等内容,欢迎 联系我们推荐选题或投稿。
同类热门项目
unsloth
本地UI,用于运行和训练LLM及扩散模型。支持GGUF、MLX、Qwen3.8、Kimi K3、MiniMax-H3、Gemma 4、FLUX等。
LlamaFactory
统一高效微调100+大语言模型与视觉语言模型(ACL 2024)
airflow
Apache Airflow - 一个以编程方式编写、调度和监控工作流的平台
langfuse
🪢 开源AI工程平台:LLM评估、可观测性、指标、提示管理、游乐场、数据集。与OpenTelemetry、LangChain、OpenAI SDK、LiteLLM等集成。🍊YC W23
netron
神经网络、深度学习和机器学习模型的可视化工具