TensorFlowOnSpark

收录理由

TensorFlowOnSpark 让分布式 TensorFlow 训练和推理直接跑在已有的 Spark 和 Hadoop 集群上。这意味着已有 Spark 用于数据处理团队可以开始深度学习，无需再搭一套调度系统或把数据搬去别的平台。Yahoo 内部用它在大规模 Hadoop 集群上做模型训练。API 设计使得多数现成的 TensorFlow 程序只需改动几行代码就能在 GPU/CPU 执行器上运行。支持同步/异步训练、模型并行和数据并行。数据输入可以走 TensorFlow 的读取器直接读 HDFS，也可以通过 DataFeed 从 Spark RDD 喂给节点。如果你的技术栈以 Spark 为核心，这是一个把模型训练和数据加工放在同一集群的务实选择。