3FS

收录理由

3FS 是 DeepSeek 为自家训练与推理集群打造的分布式文件系统，现已以 MIT 协议开源。对于自建硬件、使用 NVMe SSD 和 RDMA 网络运行 AI 任务的团队，它提供了一种真正不同于传统网络文件系统的选择——后者在密集的检查点保存和数据加载场景下往往力不从心。它保留了大家熟悉的文件接口，同时保证强一致性，应用无需为了适配专有存储 API 而重写。其分离式架构让数百个存储节点协同工作，支撑起每秒数 TiB 的读取吞吐，这对训练任务搬运海量中间数据尤为关键。如果你运营自己的 GPU 集群，而非租用托管云存储，它正是为那些容易在别处成为瓶颈的工作负载而生，包括检查点写入、训练样本随机访问，以及推理阶段的 KV 缓存。