graphtransformer

收录理由

这份代码是论文《A Generalization of Transformer Networks to Graphs》的官方实现，把Transformer从序列数据推广到了任意图结构。和标准Transformer对一维token序列做全局注意力不同，这里的注意力机制围绕每个节点的局部邻域展开，位置编码也换成了拉普拉斯特征向量，让模型直接从图的结构里读取信息。它还引入了显式的边表示，对于分子性质预测、知识图谱推理这类节点间关系承载大量语义的任务特别有用。项目基于benchmarking-gnns框架组织，环境配置、数据集下载和运行脚本都齐全，照着文档就能复现AAAI'21上的实验结果。如果你自己动手写图神经网络层，把代码和论文对照着读会很有收获，尤其是它对边信息的处理方式，很值得研究。