#136 · 主分类： 推理与本地部署
OnnxStream
llama
machine-learning
mistral
onnx
raspberry-pi
stable-diffusion
tinyml
wasm
webassembly
whisper
yolov8
轻量级ONNX文件推理库，用C++编写。可在RPI Zero 2上运行Stable Diffusion XL 1.0（或298MB内存），也可在桌面和服务器上运行Mistral 7B。支持ARM、x86、WASM、RISC-V。由XNNPACK加速。提供Python、C#和JS（WASM）绑定。
项目最后更新：06/18/26
GitHub Stars
2.1K
Forks数量
99
贡献者数量
6
许可证
Other
收录理由
OnnxStream 走了一条与众不同的 ONNX 推理路线：它不把整个模型一次性塞进内存，而是按需从磁盘流式读取注意力权重。正是这种设计，让 Stable Diffusion XL 能在树莓派 Zero 2 上跑起来，内存占用也压到 300MB 左右；同样的思路还让 Mistral 7B 可以在没有 GPU 的普通台式机和服务器上运行。核心代码用 C++ 编写，支持 ARM、x86、RISC-V 和 WebAssembly，一套代码既能覆盖嵌入式开发板，也能支撑浏览器里的演示，XNNPACK 则保证了 CPU 上的性能不至于拖后腿。项目里附带了 Stable Diffusion、Whisper、YOLOv8 和 TinyLlama 聊天等可直接运行的示例，不是只给一个空壳 API。此外，Python、C# 和 JavaScript 的绑定让你不必亲自写 C++ 就能上手使用。
相关文章
暂无针对该项目的文章。
如需补充新闻资讯、使用教程、应用测评等内容，欢迎 联系我们推荐选题或投稿。