torchrec

收录理由

TorchRec 是 Meta 自家用来训练和上线推荐模型的核心库，如果你正在用 PyTorch 搭建大规模推荐系统，这个项目值得仔细研究。纯 PyTorch 缺少推荐负载所需的稀疏性和并行原语，而 TorchRec 正好补上这块短板，最突出的是能把超大的 embedding 表按表级、行级或列级切分到多张 GPU 上。它内置的规划器会自动生成优化的分片方案，流水线训练则让数据加载、设备间通信和计算重叠进行，尽量不让 GPU 闲着。库中还打包了 FBGEMM 内核、用于低精度训练和推理的量化工具、常见的推荐系统模块，以及 Criteo 点击日志等示例数据集。作为 Meta 的 DLRM 和 Twitter 的 Algorithm ML 的底层基础，它能在远超玩具项目的规模上稳定运行，这一点本身就是很强的信号。