sutskever-30-implementations

收录理由

这份代码库把Ilya Sutskever推荐清单里的30篇论文逐一做了实现，每个例子都整理成Jupyter notebook，而且只用NumPy，不依赖任何深度学习框架。这样的限制反而让原理更透明：注意力头、循环单元、残差连接这些核心部件，在代码里都是实实在在的Python数组，不是框架封装好的黑盒调用。每个notebook都配了合成数据和可视化图表，你可以一行一行地观察激活值和梯度的变化，比如跑一个transformer或者神经图灵机的时候，每一步的运算过程都清清楚楚。对想重新夯实基础的程序员来说，它是很好的复习材料；对要找可运行示例发给学生的老师来说，也省去了不少备课功夫。整体上，这是深度学习入门和教学的辅助工具，不是能直接上生产的工程代码。