ctransformers

收录理由

如果你厌倦了为每种模型架构分别准备转换流程，ctransformers 提供了一个统一的 AutoModelForCausalLM 风格接口，可以直接从本地磁盘或 Hugging Face Hub 加载 GGML/GGUF 文件。它通过 GGML 以纯 C/C++ 运行 LLaMA、Falcon、MPT、StarCoder、GPT-2 等模型，在笔记本上做轻量推理时无需引入完整的 PyTorch 运行时。流式输出、CUDA/ROCm/Metal 卸载以及 LangChain 集成在模型支持的情况下都是现成的。实验性的 GPTQ 路径借助 ExLlama 能在内存紧张时压缩量化权重，但不同模型家族的支持程度不一，动手前最好先查看对照表。