#127 · 主分类： 推理与本地部署
optimum-intel
asr
diffusers
llm
omni
openvino
openvino-genai
optimization
transformers
tts
vlm
🤗 Optimum Intel：使用英特尔优化工具加速推理
项目最后更新：08/28/26
GitHub Stars
615
Forks数量
262
贡献者数量
103
许可证
Apache-2.0
收录理由
Optimum Intel 把 Hugging Face 的模型库与英特尔的 OpenVINO 推理工具链直接打通。你不需要重写现有流程，只需把标准的 AutoModel 类换成 OpenVINO 支持的对应版本，就能将模型导出为 OpenVINO IR 格式，把权重压缩到 8 位或 4 位，并在英特尔 CPU、GPU 或专用加速器上跑推理。对多数团队来说，权重压缩是最实在的部分：模型体积变小，延迟降低，同时你熟悉的 Transformers 和 Diffusers API 保持不变。自带的 optimum-cli 命令行工具可以一步完成 Hub 模型的转换，很适合自动化导出流程。它本质上是库加命令行工具，不是完整的服务部署方案，所以你需要自己把它接入现有的部署环境。
相关文章
暂无针对该项目的文章。
如需补充新闻资讯、使用教程、应用测评等内容，欢迎 联系我们推荐选题或投稿。