iree

收录理由

IREE 解决的是从模型训练到真实硬件部署之间那段最棘手的过程，目标设备可以是数据中心里的 GPU，也可以是手机。它本身不负责训练，而是将 PyTorch、TensorFlow、JAX 或 ONNX 格式的模型预先编译成紧凑的中间表示，再由轻量级运行时在 CPU、CUDA、ROCm、Vulkan 和 Metal 上执行。如果团队关心启动速度、内存占用，以及在不同设备上保持一致的表现，这套方案能免去为每种硬件单独编写内核的麻烦。项目也有实际案例支撑：AMD 曾用基于 IREE 构建的 SDXL 提交过 MLPerf 推理基准测试。