onnxruntime

收录理由

当训练好的模型需要稳定地跑在生产环境里，ONNX Runtime 往往是那个被优先想到的引擎。它直接执行从 PyTorch、TensorFlow/Keras 或 scikit-learn、LightGBM、XGBoost 等经典机器学习库导出的 ONNX 格式模型，团队可以继续用自己熟悉的框架做训练，部署时统一走这一个运行时。借助图优化、量化以及针对不同硬件的执行提供程序，它能在从边缘 CPU 到 NVIDIA GPU 的广泛设备上降低延迟和成本。同一套运行时覆盖 Windows、Linux、macOS，并提供 Python、C++、C#、Java 和 JavaScript 绑定，当同一个模型需要服务多种环境时尤其省事。此外，它的训练模式只需在现有 PyTorch 脚本中加一行代码，就能在多节点 NVIDIA GPU 上加速 transformer 模型训练，适合想在不重写训练代码的前提下提升吞吐量的场景。