zml

收录理由

这个项目面向在生产环境中运行神经网络、并希望从已有加速器上挖掘更多性能的团队。它不是把 Python 运行时包一层，而是将模型的前向计算直接编译成针对 NVIDIA、AMD、Intel、TPU 和 Trainium 的专用代码，因此同一套用 Zig 写的模型代码可以不加改动地在任何这些硬件上运行。模型用 Zig 结构体描述，构建和运行都通过 Bazel 完成；示例从 30 秒的 MNIST 冒烟测试一路延伸到从 Hugging Face、本地目录或 S3 加载 Llama、Qwen 和 LFM 检查点。编译和权重加载在运行时按加速器进行，适合那些希望推理可预测、开销低，而不是要一个功能齐全的 serving 层的工程师。它的代价是基本要求熟悉 Zig 和 Bazel，但回报是能直接控制从模型权重到硬件的整个路径。