llamacpp-rocm

收录理由

在 AMD 显卡上编译 llama.cpp 向来麻烦，你得对着自己的具体型号挑构建，还得把 ROCm 环境调顺。这个项目直接把这一步省了——它每天自动产出带 ROCm 7 运行时的 llama.cpp 新构建，你按自己的 GPU 目标下载压缩包，解压就能跑 llama-server。构建矩阵覆盖的 AMD 硬件很广，从 RDNA2、RDNA3、RDNA4 独显，到 Strix Halo、Strix Point 这类 APU，还有 Instinct 加速卡，Windows 和 Ubuntu 都支持。对想在 AMD 平台上用上最新 llama.cpp 功能、又不想折腾工具链的人来说，这是个很实在的捷径，跟 Lemonade 这类本地推理应用也能顺畅配合。不过要提醒一句：项目目前主要围绕自身生产场景，不提供全面技术支持，把它当成一个方便的发行渠道就好，别指望完整的平台级保障。