论文导读
腾讯、中国科学技术大学、微软等机构提出Demiurge,让一段视频生成的新视角共用动态场景记忆,减少镜头转动后的外观漂移。团队用128段输入视频、每段14条轨迹检查一致性,跨视角匹配指标View Sync达到64.893。已看到与后来补出的内容持续进入同一份记忆,支持继续改变观察角度。
镜头转过去,别把同一个物体重新画一遍
给一段视频换个拍摄角度,模型需要补出原来被挡住的区域。如果每条镜头路线都单独生成,第一条路线里的物体和第二条里的物体可能不是同一个样子:纹理变了,尺寸也变了,几段视频便难以拼成一致的场景。
图:汽车、沙发上的猫与鸟类场景在不同轨迹下,对比基线和Demiurge输出。
Demiurge把新视角生成改成连续过程。第一条路线生成后,将画面和估计出的几何写回共享记忆;后续路线先利用这份历史,再补出缺失部分。它要保持的不只是某段视频里逐帧顺畅,还包括不同镜头之间的身份与空间关系。
实验准备128段不同场景的单目视频,每段沿14条指定轨迹生成,共1792段输出。跨视角匹配指标View Sync为64.893,论文表格中最接近的对照为46.562。这个指标反映视角间可匹配内容,不是“64.893%的整个世界已经真实重建”。
先借旧画面,再把新几何存进去
共享记忆可以理解成带时间信息的彩色三维点。新镜头先把这些点投到目标视角,形成已知区域的画面与深度。看不到的区域再由生成模型补齐,深度补全则帮助新内容与旧几何对齐。
图:流程图把旧记忆投影、画面生成、深度补全与记忆更新连成循环。
难点出现在遮挡与细节之间。只优先保留可信的旧外观,记忆可能缺少足够几何,镜头转动后把背景漏到前景;把每一轮生成的全部像素都反复存进去,又容易让颜色与纹理越积越漂。
方法因此用两个不同的投影方式:一条重视外观来源,尽量保留可靠细节;另一条充分利用几何覆盖,用来判断遮挡。两条路径的深度不一致时,再选择更适合该位置的条件。它们共享历史观测,并不需要两套重复的完整点云。
生成完画面后,深度继续写回记忆,下一条轨迹可以使用新暴露的区域。一个可选的细化步骤借几何条件减少残留的纹理闪烁。论文逐项移除组件的对照中,拿掉双路投影后,View Sync从64.893降为51.498。
换角度的视频,还能拿去重建三维表示
研究团队把各方法生成的多视角视频用于三维高斯表示优化,再检查重建后的渲染。Demiurge结果的PSNR为24.360、LPIPS为0.237;与直接看生成视频的匹配指标一起,形成了两类相互补充的证据。
图:三个时间点分别显示汽车场景的三维重建、RGB视角和深度渲染。
项目还展示了镜头逐步转到背面,包括累计180度的变化。已经不在输入画面里的内容需要模型生成,所以画面一致并不能证明隐藏表面是物体真实的背面;评价重点是生成过程中能否维持同一个场景。
论文附录报告,每条目标轨迹约需五分钟,不能把这些可浏览的新视角描述为实时互动世界。公开示例展示的是预先生成的观察路线,时间成本与连续在线控制仍是不同的问题。
这条工作流程可以反复使用上一轮输出,后续镜头也不再完全从零开始。它已经把跨镜头检查从“每段看起来都不错”推进到具体的内容匹配、相机轨迹误差和三维重建结果,让同一个物体转到另一面时是否还一致有了可复核的证据。
参考资料
https://arxiv.org/abs/2610.14685
https://arxiv.org/html/2610.14685
https://arxiv.org/pdf/2610.14685