lorax

收录理由

多数团队微调出多个模型变体后，往往得为每个版本单独部署一套服务，开销很快变得难以承受。LoRAX 换了一种思路：只运行一个基础模型，根据每个请求按需从 Hugging Face 或自己的存储加载 LoRA 适配器权重，这样上千个微调变体可以共用一块 GPU。它把不同适配器的请求合批处理，并动态地在显存与内存之间调度适配器，从而维持接近稳定的吞吐与延迟。同时支持量化基础模型和流式输出，兼容 OpenAI 的 API 也便于融入现有服务架构。如果你的场景是共享一个基础模型、对外提供大量微调版本，这个工具能在不牺牲速度的前提下切实降低账单。