acme

收录理由

强化学习研究者在从笔记本电脑上的快速实验转向分布式训练时，常常不得不重写智能体代码。Acme 的核心设计把动作选择与学习过程分开，同一套代码既能跑在单机环境，也能扩展到分布式场景。库内提供了 DQN、R2D2、D4PG、MPO 等算法的可读参考实现，这些实现既可以当作可靠的性能基线，也能作为新研究的起点。由于构建在 DeepMind 环境接口之上，并与 Reverb 配合处理经验回放，它很自然地融入 JAX 或 TensorFlow 的既有技术栈。附带的大量示例和教程，让论文中的算法描述到可运行代码之间的距离缩短了不少，对学生来说尤其顺手。