optimum

收录理由

用 Hugging Face 库训练出模型只是第一步，真正难的是让它在你要部署的硬件上高效跑起来。Optimum 就是负责解决这段衔接的层。它直接对接 Transformers、Diffusers、TIMM 和 Sentence-Transformers，你不用再手写导出脚本、量化逻辑或者为每种加速器单独写适配代码，一套 API 就能走完。支持导出 ONNX、做量化，也能针对 ONNX Runtime、Intel、Graphcore、Habana 这些后端做优化，而训练和推理的写法跟平时差不多。加速器相关的子包让你按需安装依赖，不用把不需要的东西都装进来。对已经习惯 Hugging Face 工作流的团队来说，从能跑的模型到能部署的模型，这条路会顺很多。