XMem

收录理由

XMem把视频目标分割当作一个记忆问题来处理，将特征存储拆成短期工作记忆和基于Atkinson-Shiffrin理论的长期记忆两部分。这种结构让模型在超长视频中持续追踪目标，而不会像那些把所有信息都堆在单一记忆库的方法那样，导致显存占用失控。作者在长视频上测得的处理速度大约为每秒20帧，仓库里还带了一个图形界面，你只需在首帧点一下目标，模型就会自动把掩膜往后传播。对需要处理数千帧的后期制作来说，比如遮罩图层插入或动态遮罩绘制，这个工具很实用。此外，XMem也是Cutie和DEVA等后续工作的基础，所以读懂这套代码，有助于理解现代视频分割的发展脉络。