Olive

收录理由

Olive 是微软为 ONNX Runtime 推出的模型优化工具包，核心价值在于自动化地替你搜索最合适的优化方案。使用时只需给出模型、目标硬件（CPU、GPU 或 NPU）以及你关心的约束条件（比如精度或延迟），它就会在四十多种内置优化手段中组合尝试，最终产出一个高效的 ONNX 模型。整个流程覆盖了模型转换、微调、量化、图优化以及部署打包，让从 PyTorch 或 Hugging Face 的权重文件到可上线服务的链路在一个工具内完成。日常操作既可以用命令行，比如 `olive quantize` 和 `olive auto-opt`，也能通过 YAML 配置实现更精细的控制，缓存机制还能加速重复执行。近期版本加入了对 NPU 和 Multi-LoRA 服务的支持，对于需要部署到多种加速器、又不想反复手工试错的团队来说，相当实用。