paddler

收录理由

自己搭建大模型推理服务，通常要处理一堆互相咬合的组件，光是配置和运维就够头疼。Paddler 把这件事简化到了两个部分：一个负责分发请求的 balancer，以及真正生成 token 和 embedding 的 agent。它内置了 llama.cpp 推理引擎，不需要再单独部署后端；请求缓冲机制让 agent 可以从零个实例开始，在流量到达时自动扩容，而且 agent 可以动态增删，和常见的自动伸缩工具配合得很顺。整个服务就是一个单一二进制文件，CPU 和 GPU 都能跑，还自带 Web 管理面板和监控指标，日常维护很方便。对于想控制成本、又不想把数据交给第三方的小型 DevOps 团队来说，Paddler 提供了一个很实在的选择。