openlake

收录理由

许多大模型部署在真正耗尽GPU算力之前，I/O路径早已成为性能天花板，OpenLake正是围绕这一瓶颈设计的。它是一款用Rust编写的分布式存储引擎，对外提供S3兼容的对象存储接口，专门应对推理和训练过程中大量小文件、高频次的读取操作，让加速卡节点不必在数据等待上空转。其最突出的能力是KV缓存卸载：可将PB级别的KV状态分布在多台GPU主机上，vLLM工作节点能在毫秒级取回前缀，从而显著减少重复或长提示词场景下的预填充计算。向量索引的构建与检索、检查点存储，以及大上下文或智能体记忆等场景也在其覆盖范围内。对于正被GPU空闲时间或存储扩展上限困扰的平台与基础设施团队而言，OpenLake可以作为一个存储层直接嵌入现有技术栈。