LitServe

收录理由

多数推理框架要求你把逻辑塞进它们预设的请求流程里，LitServe却反其道而行——用纯Python定义推理过程本身。你通过继承LitAPI类来加载模型，明确每个请求如何变成预测结果，而路由、批处理、流式输出、GPU分配以及跨worker的伸缩这些繁琐环节，全部由框架接管。当你要服务的不是单一的标准大模型，而是多模型流水线、RAG接口、会调用工具的智能体，或是在vLLM之上叠加自定义逻辑时，这种掌控力就变得格外重要。由于构建在FastAPI之上，熟悉该生态的团队可以平滑过渡，同一套服务既能跑在本地，也能在流量上升后迁移到托管基础设施。如果你希望拥有部署层面的控制权，又不想陷入MLOps胶水代码的泥潭，这个项目会很顺手。