LightLLM

收录理由

如果你需要在生产环境里跑大语言模型，又不想被重型C++代码库绑住手脚，LightLLM会是一个相当顺手的选择。它整体用Python写成，调度逻辑和KV cache相关的代码都能直接读、直接改，不用在原生代码里反复摸索；真正吃算力的部分则交给FasterTransformer、FlashAttention这些成熟内核来兜底。它的请求调度和结构化解码工作分别发表在ASPLOS和ACL上，维护者还给出了单张H200上服务DeepSeek-R1的很强性能数据。更值得注意的是，vLLM、SGLang以及一些学术系统都借鉴过它的设计，这说明在挑选服务框架之前，先研究一下它的架构是值得的。