angel

收录理由

当特征维度大到单机内存装不下参数时，Angel 就是为这种训练场景而生的。它把模型参数分散到多个节点上，以参数服务器的架构支撑超大规模机器学习，腾讯在真实业务中已经用它扛过工业级的数据量。仓库里直接提供了逻辑回归、GBDT、因子分解机以及 PageRank、word2vec 等图算法的现成实现，不用从零开始拼装。对大多数团队来说，最有价值的是 Spark on Angel 这套能力——你仍然用熟悉的 DataFrame 写流水线，模型权重则下沉到参数服务器层，迁移成本低。代码基于 Java 和 Scala，跑在 Yarn 上，对于已经标准化使用 Hadoop 生态的团队非常顺滑。项目由腾讯和北大联合开发，既有工业界的稳定性打磨，也有学术界的创新输入。