ort

收录理由

对于坚持用 Rust 打天下的开发者来说，想在项目里跑 ONNX 模型又不想换语言，ort 算是目前相当成熟的一条路。它把微软的 ONNX Runtime 包在原生 Rust API 后面，同一份代码既能吃 CPU，也能调用 CUDA、Metal 或其它执行提供程序来加速，同时轻量到可以塞进终端用户的设备里。一个 crate 同时管推理和训练/微调，省得团队为不同阶段维护两套工具链。接口稳不稳，看生产环境里的真实用例就有数：Hugging Face 的文本嵌入服务和 Google 的 Magika 都在拿它跑线上负载。如果你的技术栈是 Rust，模型又导出成 ONNX，ort 能让你免去手写和调试 FFI 绑定那一堆麻烦事。