#68 · 主分类: 推理与本地部署
jetson-containers
适用于NVIDIA Jetson和JetPack-L4T的机器学习容器
项目最后更新:08/10/26
GitHub Stars
4.8K
Forks数量
845
贡献者数量
81
许可证
Other
收录理由
在Jetson这类边缘设备上跑现代AI工具,最头疼的往往是对齐CUDA版本、JetPack发布版和各种编译失败的依赖。这个项目用一套模块化的容器构建方案,直接给出针对Jetson预编译好的Docker镜像,常见的PyTorch、TensorFlow自不必说,连vLLM、SGLang、llama.cpp、Whisper这类较重的推理服务栈也都打包好了。你不需要自己维护Dockerfile,也不用跟ARM和CUDA工具链死磕,按自己的硬件和JetPack版本拉一个镜像就能开工。做端侧推理、计算机视觉、边缘LLM服务或者ROS机器人的团队,能拿到经过测试的镜像和可复现的构建脚本,省心不少。另外,真到部署规划的时候,这个仓库还能当个参考手册,查查哪个包版本在哪个Jetson上跑得通。
相关文章
暂无针对该项目的文章。
如需补充新闻资讯、使用教程、应用测评等内容,欢迎 联系我们推荐选题或投稿。