mlc-llm

收录理由

MLC LLM 把大语言模型编译成针对你实际硬件的优化原生代码，无论是 NVIDIA、AMD 显卡，还是 Apple 芯片、Intel 核显、手机乃至浏览器，都能跑起来。对想在自己机房或边缘设备上跑模型、不想租云 GPU 的团队来说，它特别合适——同一个模型编译一次，就能部署到各种差异很大的目标平台上。它还通过 REST 服务提供兼容 OpenAI 的接口，并支持 Python、JavaScript、iOS 和 Android 的绑定，接入现有工具链几乎不用折腾。如果你在意消费级或移动硬件上的性能表现，或者希望推理过程完全自托管，这个项目值得仔细研究。