论文导读
南洋理工大学、牛津大学提出Gen4P，把预训练视频生成模型改造成读取三维运动的感知器。一段视频经过一次编码后，可以按需查询点轨迹、深度和相机姿态；论文展示了火烈鸟细腿和滑雪动作的追踪，并在多组世界坐标追踪测试中取得有竞争力的结果。
火烈鸟一抬腿，追踪点还要跟得住
视频里的细腿很容易被背景、遮挡和快速动作淹没。只知道这一帧哪里像腿还不够，三维追踪还得判断它在后续时刻移到了哪里，以及相机自身有没有移动。
Gen4P展示的变化是，原本用于生成视频的预训练知识也能帮助读出这些运动。论文把动态主体的轨迹着色，让读者沿着运动线观察细小结构和长距离动作是否保持连贯。
图：上排火烈鸟显示细腿运动轨迹，下排滑雪片段转成带运动信息的三维点云
这些画面是定性展示，项目页说明可视化使用了置信度过滤。画面干净并不代表每一个原始预测点都同样可靠，数值比较还要看统一评测。
视频只编码一次，想查哪个点再去读
生成视频通常要从噪声开始逐步还原画面。Gen4P改做感知时，输入的是已经拍好的视频，不再反复去噪生成内容，而是一次提取场景表示。
随后，一个较轻的读取部分接收查询：在哪个像素、从什么时刻、要看哪个时刻的对应位置。它再输出相应的三维或二维点属性。这样，同一段视频表示可以服务轨迹、深度和相机姿态等相关任务。
查询时间也不必只靠固定帧号的离散标签。作者用连续时间表达，使读取位置和时刻的安排更灵活；灵活性仍要在训练与评测覆盖的范围内理解，并不是任意长度都没有成本。
图：视频先被编码成场景表示，查询解码器按位置和时间输出三维属性
团队还测试了加入冻结深度适配模块的版本，把已有的几何知识一并接入。这个额外先验不增加该模块的可训练参数，但整个系统仍有要训练的部分，不能写成无需训练就能把任何生成模型变成感知器。
88.18衡量全部追踪点，不是画面成功率
在Dynamic Replica的世界坐标追踪表中，Gen4P-II全部点的APD为88.18，对照4RC为82.73。APD统计一定误差阈值内的点，越高代表更多追踪点落在要求范围，不能解释成88.18%的视频任务全部完成。
动态点和全部点也被分列。同一个模型在同一数据集中的两列可能差别很大；只拿最高一列与对方另一列比较，会制造不存在的优势。
图：鱼缸视频的鱼体与水草被重建成彩色点云，并叠加点运动轨迹
评测将预测与真实轨迹做全局中位数对齐。这个条件关系到尺度等几何口径，因此不能从追踪分数直接推出系统在任意现实视频里都能准确测出米制距离。
论文使用约20万段、来自11个公开数据集的视频训练，并分别测试世界坐标追踪、深度与相机姿态。它在不同测试上的领先程度并不一致，更合适的结论是视频生成预训练能够提供可迁移的运动与几何先验。
从演示看，一段视频可以被读成一组随时间变化的空间点；从结构看，编码和按需读取被分开。两者接起来，才解释了为什么同一段视频输入能支持多种三维属性查询。
参考资料
https://arxiv.org/abs/2610.22371
https://arxiv.org/html/2610.22371
