GitHub Stars
6.8K
Forks数量
1.0K
贡献者数量
220
许可证
MIT
收录理由
mlx-lm 是一个 Python 包，能让 Apple 芯片的 Mac 变成一台实用的 LLM 工作台。它直接从 Hugging Face Hub 拉取模型，一条命令就能获取并运行数千个公开模型，其中许多以 4-bit 量化形式存在，普通内存就能装下。除了生成文本，它还提供聊天 REPL、流式输出、用于复用长上下文的提示缓存，以及旋转键值缓存来让内存占用保持可预测。微调功能同样可用：在同一台硬件上做低秩或全量训练，量化与重新上传通过简洁的 CLI 或 Python API 即可完成。对于想将数据留在本地、避开云 GPU 成本的团队来说，从下载到获得适配模型，整个流程都能在这里完成。
相关文章
暂无针对该项目的文章。
如需补充新闻资讯、使用教程、应用测评等内容，欢迎 联系我们推荐选题或投稿。