FastDeploy

收录理由

FastDeploy 由飞桨团队官方打造，与其说是套在别人引擎外面的壳，不如说是把飞桨训练的模型送上生产环境的正路。它早已不是简单工具包，而是长成了一整套服务方案：负载均衡的预填充与解码分离、上下文缓存、投机解码、量化手段，外加多种硬件后端。支持的模型清单明显偏向飞桨生态的家族，比如 ERNIE、DeepSeek、Qwen3、PaddleOCR-VL 这些；同时它提供兼容 OpenAI 的 API，大多数情况下你不需要大改现有客户端就能直接接进来。如果你已经在飞桨上做开发，或者目标架构正好在它支持的范围内，这套工具能发挥很大作用；而它那些面向生产的功能，也让它值得和通用 serving 工具放在一起认真比一比。