tvm

收录理由

Apache TVM 能把 PyTorch 或 TensorFlow 里训练好的模型，编译成一个紧凑且经过优化的模块，直接嵌入到边缘设备、手机浏览器或特定 GPU 上运行，不必依赖某一家厂商的运行时。你用一套描述定义计算，TVM 就针对目标硬件生成调优后的代码，这对那些需要把模型部署到数据中心服务器之外场景的团队特别有用。它的管线以 Python 优先，方便你按需调整模型优化和降级的具体步骤。如果你曾经训练出效果不错、但一放到实际生产环境里就运行不畅的模型，这个项目值得仔细看看。