bi-att-flow

收录理由

想复现2017年SQuAD榜单成绩，或在其基础上做改进的研究者，往往会从这里入手：这是BiDAF的原始参考实现，正是它首次提出了双向注意力流机制用于机器阅读理解。仓库覆盖了完整流程，从下载SQuAD数据并用GloVe预处理，到在Titan X上训练约250万参数的模型，再用官方评估脚本打分。里面附带了预训练权重，以及单模型和集成模型的运行脚本，按说明操作就能复现论文中的EM和F1数值，也方便在动手改动前先验证自己的环境是否正常。不过要注意，代码依赖TensorFlow r0.11和Python 3.5，更适合当作学习与复现的参考，而不是可以直接上线的产品。代码按层划分得很清楚，阅读、消融或扩展都很容易。如果想研究query-to-context和context-to-query两条注意力路径是如何连接的，这里也是很好的起点，对把经典注意力架构移植到新框架也有帮助。