lion-pytorch

收录理由

lion-pytorch 是 Phil Wang 对 Google Brain 借助进化搜索发现的 Lion 优化器所做的一个干净而轻量的移植。你只需在现有的 PyTorch 训练脚本里加一条 import，就能直接试跑，看看它的符号动量更新是否真的能胜过你手头正在用的 AdamW。仓库的 README 把论文里那些很实用的调参建议都搬了过来，最要紧的一条是学习率通常要设成 AdamW 的十分之一到三分之一，同时把解耦权重衰减的系数相应放大。另外，里面还收集了不少研究者实际试过之后的坦诚反馈，比如有人发现如果学习率保持不变，Lion 的表现反而不如 Adam，但把学习率大概除以十之后，早期训练结果就有了明显改善。这种把忠实的参考实现和真实使用中的坑放在一起的做法，能帮助你在自己的项目里判断这个优化器到底值不值得换上去。