ggml

收录理由

如果你曾在笔记本上跑过本地大模型或语音转写，多半已经用过 ggml 而不自知：它就是 llama.cpp 和 whisper.cpp 背后的底层 C 张量库。它负责张量运算、自动微分和整数量化，正是这些能力让大模型在普通硬件上变得可用，而且它不依赖任何第三方库，运行时也不做内存分配。对于想自己搭建推理引擎或边缘运行时的开发者，它更像一个紧凑的地基，而不是开箱即用的成品。项目本身仍在积极开发，大量工作集中在 llama.cpp 和 whisper.cpp 仓库里，所以更适合把它当作一个可集成、可扩展的构件来使用。阅读它的源码，也是理解量化推理到底如何运作的一条好路径。