pytorch-a2c-ppo-acktr-gail

收录理由

许多初学者入门深度强化学习时，第一个被推荐去看的代码库往往就是它。仓库把A2C、PPO、ACKTR和GAIL这四种策略梯度算法都收在了一起，而且每个算法的实现都写得相当直白，读起来更像是一步步拆解的示例，而不是需要反复摸索的复杂框架。跟着代码走一遍，就能比较直观地理解优势估计器是怎么嵌进策略更新的，PPO又如何限制每次更新的幅度，以及GAIL怎样从演示中学习行为，这些概念光看公式容易绕晕，看代码反而清楚。项目还附带了调好的超参数，并且为Atari、MuJoCo、PyBullet和DeepMind Control Suite提供了Gym接口适配，想快速跑个实验验证想法很方便。需要注意的是，作者如今推荐大家去看他新写的基于JAX的强化学习库，所以这个仓库更适合作为学习和快速原型的参考，真要上生产环境的话，还得另做考量。