Crossformer

收录理由

Crossformer 源自一篇 ICLR 2023 论文，这个仓库就是作者随论文发布的 PyTorch 官方代码。它把每个变量当作独立维度，将邻近时间点切分成段，然后在时间维度和变量维度上分别做注意力计算。为了让跨维度的计算量不随序列数量爆炸，它引入了一小组路由令牌，使得整个过程在变量数上保持线性复杂度——当你要同时预测大量相互关联的序列时，这一点非常关键。仓库里带了 ETTh1、ETTm1、Weather、ECL、ILI、Traffic 这些标准基准的训练和评估脚本，还给出了一个把模型适配到你自己 CSV 数据的完整示例。如果你在做基于 Transformer 的时序预测模型对比，这个实现既是一个可靠的参照系，也值得从中借鉴一些架构上的巧思。