attention-networks-for-classification

收录理由

这个仓库把NAACL 2016那篇论文里的层级注意力网络用PyTorch重新实现了一遍，核心思路很直接：文档本身就有结构，词组成句子，句子再组成文档，与其让模型自己摸索这种结构，不如在双向GRU之上分别加词级和句级的注意力机制，把结构显式地喂进去。随附的notebook在电影评论数据集上跑了一个完整示例，从数据预处理到训练损失都能看到，不是零散的代码片段，而是能直接运行的整条流程。对于想弄明白注意力机制怎么做文档分类的研究者或学生来说，这是个不错的入手点，能直观看到模型内部是怎么运作的。不过要注意，这个仓库从2020年初就没再更新过，更适合当作教学参考和二次开发的底子，别直接用到生产环境里。