Segment-and-Track-Anything

收录理由

这个项目将Segment Anything Model与基于Transformer的DeAOT跟踪器相结合，先在视频的某一帧中完成物体分割，随后将掩膜持续传递到后续帧，实现对任意目标的跟踪。用户可以通过点击、涂抹或输入文字提示来指定要分割的物体，也可以让系统自动检测，因此适用于视频编辑中的抠像、数据标注以及监控摄像头画面的目标跟踪等实际场景。项目提供了WebUI和Colab笔记本，方便用户快速在自己的视频上测试效果，Python API则适合批量处理任务。它还支持音频定位模式，能够跟随音轨中发出声音的对象。这套方案在学术和工业界也有实际应用，MIT CSAIL和哈佛SEAS发表的无人机开放词汇跟踪研究便以它为底层基础设施。