perceiver-pytorch

收录理由

对于想直接使用 Perceiver 架构而不想从零实现的科研人员和工程师来说，这个仓库提供了一个清晰易懂的 PyTorch 移植版本，忠实还原了 2021 年那篇原始论文，同时附带 Perceiver IO 的后续工作，支持灵活的输出序列长度。一个模型类就能处理图像、视频或任意轴形状的数据，潜变量数量、维度、注意力深度等超参数都沿用了论文中的设计，配置起来很直观，也方便做各种实验改动。代码量不大，采用 MIT 许可，还包含一个实验性的自底向上注意力变体。无论是快速搭建原型，还是在课程作业里一步步追踪迭代注意力的运作方式，它都比直接上手重型框架要轻便得多。