tract

收录理由

tract 是一个用 Rust 编写的推理引擎，能加载 ONNX、TFLite 或 NNEF 模型，经过优化后，可在嵌入式 ARM 芯片、NVIDIA 与 Apple 的 GPU、甚至浏览器里的 WebAssembly 上运行。它的灵活性来自“一次转换，随处部署”的思路：构建时把模型转成基于 NNEF 的中间格式，最终只携带一个很小的运行时，完全不需要依赖 protobuf 或训练框架。Sonos 已经在生产环境中用它处理唤醒词和流式语音识别，同一个引擎也能跑大语言模型、文生图和经典视觉模型，每个场景都有可运行的示例。如果你的任务要求低延迟、实时推理，它的 pulsification 功能值得留意——同一个模型既能应对批量请求，也能服务实时流量。