VIBE

收录理由

VIBE 是 CVPR 2020 同名论文的官方实现，至今仍是需要从普通视频中提取三维人体姿态与形状时的一个可靠参照。它会逐帧分析视频片段，输出 SMPL 人体模型的参数，得到的是完整的骨骼驱动人体，而不只是二维关键点——这恰恰是动画制作、生物力学分析、运动追踪以及 AR/VR 应用常常需要的形态。相比单帧估计方法，它的核心优势在于时间维度：循环网络结构会跨帧传递信息，明显抑制了真实拍摄素材中常见的抖动。仓库同时提供演示与训练代码，全部基于 PyTorch，还附带了 Colab 笔记本，想在自己录制的视频上快速跑一遍并不需要从零搭流程。不过要提醒一句：代码与预训练模型采用非商用研究许可，并且依赖 SMPL 人体模型，而该模型有自己独立的使用条款，动手之前务必确认清楚。