LMCache

收录理由

大模型服务里，重复的提示词前缀会反复消耗算力去重算键值缓存，LMCache 把这部分缓存存到 CPU 内存、本地磁盘、Redis 和对象存储里，请求之间、会话之间甚至不同的推理进程之间都能直接复用。这样一来，首字延迟明显下降，GPU 显存压力也小很多。它作为独立守护进程运行，不要求改动 vLLM 等引擎的代码，接进来就能用。对经常把同一批文档服务给大量用户，或者跑多轮智能体任务、共享上下文的团队来说，收益最直观。存储后端可以按需插拔，还提供 KV 变换接口，方便你在现有环境里先做验证，再试着搞压缩或 token 丢弃这类优化。