EBT

收录理由

Energy-Based Transformers 走了一条与标准前馈堆叠不同的技术路线：模型在预测每一个 token 时都会进行推理，而不是只做一次前向传播。仓库为论文提供了语言、图像、视频三种模态的预训练与推理脚本，还有一个极简的单文件训练循环，把 Transformer++ 基线和 EBT 放在一起对比，想快速理解机制的话这是最直接的入口。需要说明的是，这是研究代码而非现成库，作业脚本、wandb 配置和 HPC 启动器都要按你自己的集群环境去调整。如果你正在做 System 2 推理、能量基目标函数，或者关心替代注意力架构如何扩展规模，从这里开始复现论文实验是个扎实的起点。