learning-to-learn

收录理由

DeepMind在2016年发表了那篇名为《learning to learn》的论文，这个仓库就是当时配套的TensorFlow实现。它想解决一个很实际的问题：别再手工挑优化器了，干脆训练一个MetaOptimizer，让它自己生成更新规则。train.py里把梯度下降展开，针对某类问题学出一套更新方式，evaluate.py再拿它和Adam这类基线对比，看看学出来的优化器到底行不行。仓库自带的问题从单个变量的二次函数一路做到MNIST和CIFAR分类，而且新增任务很简单——你只需要把损失函数包装成一个函数交给MetaOptimizer，剩下的就交给代码。想真正理解“用梯度下降来学梯度下降”是怎么在代码里跑起来的，这里是最直接的起点。整个项目基于Sonnet构建，没有堆一堆自定义的管道逻辑，读起来很清楚。