awesome-local-llm

收录理由

想在本地跑大模型，最头疼的往往不是模型本身，而是要在几十个GitHub仓库里翻找合适的推理引擎、模型和配套工具。这份精选清单把整个生态里真正有用的部分收拢到了一处，按推理平台、推理引擎、用户界面、模型、Agent框架、RAG工具、硬件和教程分门别类。模型列表还按用途拆开，想找通用、代码、多模态或音频模型，一眼就能定位。对于刚接触量化、上下文工程或端侧推理的新手，它附带的教程和社区链接也很有帮助。你可以先在这里圈定几个候选，再结合自己的硬件条件和隐私要求去逐个验证。