VideoMAE

收录理由

VideoMAE 是 NeurIPS 2022 Spotlight 论文的官方 PyTorch 实现，将掩码自编码器预训练引入视频理解领域，至今仍是动作识别方向的重要参考代码库。如果你正在训练模型来分类或定位视频中的动作，比如体育赛事分析、媒体内容打标等场景，这个仓库展示了一种高效预训练时空视觉 Transformer 的方法，所需标注数据量远小于全监督方案。代码支持多节点分布式训练，附带 Kinetics-400、Something-Something、UCF101 和 HMDB51 的预训练模型与检查点，还提供 Colab 笔记本和 Hugging Face 模型，方便你先快速验证效果再投入重型实验。需要注意的是，这是研究导向的代码，不是开箱即用的产品，使用时需要根据自己的数据集调整配置和数据加载逻辑。对于重视数据效率、想找可靠起点的视频自监督学习团队来说，这份实现很有实际参考价值。