OmniNet

收录理由

这个仓库是OmniNet论文作者放出的官方PyTorch实现，代码紧凑，适合想研究怎么用单个模型同时处理文本、图像和视频多种任务的人。它把每个输入类型先经过各自的神经外围模块，再统一送进一个基于Transformer的共享处理器，正是这个共享核心让一个模型能同时完成词性标注、图像描述、视觉问答和视频活动识别。仓库里带了预训练权重和数据集下载脚本，训练命令也能复现论文里的结果，不是那种第三方凑合的移植。另外它还展示了多GPU上的异步训练方式，以及视频描述和视频问答的零样本预测实验，对教学或者深入理解多模态统一架构都挺有价值。不过要留意，这项目从2020年后就没再维护，不适合直接拿去生产环境用。