#158 · 主分类： 推理与本地部署
aikit
ai
buildkit
chatgpt
docker
fine-tuning
finetuning
gemma
gpt
inference
kubernetes
large-language-models
llama
llm
localllama
mistral
mixtral
nvidia
open-llm
open-source-llm
openai
🏗️ 轻松微调、构建和部署开源LLM！
项目最后更新：08/24/26
GitHub Stars
536
Forks数量
57
贡献者数量
10
许可证
MIT
收录理由
AIKit 将开源大模型从原始权重到可用服务的完整链路收进一个基于 Docker 的工具里，团队不必再手动拼接多个组件，就能让 Llama、Mistral 等模型跑起来，并对外提供与 OpenAI API 兼容的接口。推理部分基于 LocalAI，任何支持 OpenAI 协议的客户端都能直接接入；同时，一份声明式配置即可同时管理服务与微调任务。微调走 Unsloth 路线，训练速度快且内存占用低；模型还能打包成 OCI 制品，通过标准容器仓库分发。对于希望在自己硬件或 Kubernetes 上自托管、又保留就地调整模型权重能力的团队来说，这套方案相当务实。
相关文章
暂无针对该项目的文章。
如需补充新闻资讯、使用教程、应用测评等内容，欢迎 联系我们推荐选题或投稿。