llama.go

收录理由

对于需要在Go语言中运行LLaMA风格模型、又不想借助cgo或外部子进程的开发者来说，纯Go的选择本就不多，这个项目算是其中少数之一。它用Go重新实现了llama.cpp的张量运算和模型结构，单个进程就能加载GGML时代的LLaMA检查点、执行本地推理，并通过内置的服务器模式暴露REST API。多线程支持加上AVX2/NEON优化，说明作者在性能上下了功夫。不过，这个项目目前基本处于维护状态——作者已把重心转向后继项目FastTensors，而LLaMA 2、GGUF V3等新格式的支持始终没有完成。所以，它更适合用来理解Go语言中推理引擎的工作原理，或者拿早期的LLaMA模型做做实验；想拿它跑当前主流开源权重做生产部署，恐怕不太现实。