论文导读
哈尔滨工业大学研究团队用AI给双摄切换补过渡帧,同时处理视角与颜色跳变。ZoomGS v2从三维场景合成训练序列,ZoomFI再学习在超广角与广角之间补画面。研究用小米、华为两款手机采集的150个测试场景核对效果,让变焦过程里的窗框、栏杆和色彩过渡更连贯。
变焦一滑,窗框为什么突然挪了
手机从超广角切到广角,变化不只是画面放大。两颗摄像头不在同一个位置,近处物体与远处背景的相对位置会改变;不同传感器和成像处理还可能让色调同时变一下。简单裁切放大,不能把这些差别全部抹平。
图:论文图1左侧画出两颗相机的变焦路径,右侧以局部边缘与色差说明视角和颜色不连续。
研究把问题定义为双摄平滑变焦:已知两端图像,合成连续中间画面,既逐渐改变几何视角,也逐渐改变颜色。普通视频补帧通常处理同一摄像头前后的画面,直接套到两颗镜头之间,容易在大位移和遮挡处糊掉。
困难首先出在训练材料。想拍到完全真实、连续的中间视角,需要一排位置与参数连续变化的相机,日常双摄没有这样的条件。作者于是先从真实双摄图像估计两端的参数差异,再把这些差异用到已有的单摄三维场景中,生成可训练的过渡序列。
位置和颜色分开造,再合成一次变焦
ZoomGS v2不把所有变化揉进同一个三维表示。它先重建场景,再单独抽取相机位置变化与颜色转换,分别控制中间画面。这样,可以从较多单摄场景生成多种接近真实双摄的训练样本。
图:论文图2对比ZoomGS与ZoomGS v2的训练序列生成方式,右侧小图展示重建细节差异。
研究从4000个三维场景起步,为每款设备合成16000段序列,再人工剔除重建质量不佳或伪影明显的部分。留下小米8704段、华为7686段。这里是合成训练序列,不是拍到了这么多真实连续变焦视频。
负责补帧的ZoomFI同时利用两个方向的信息:从端点向中间位置映射,也从中间位置反查端点。两种方式在遮挡与大位移区域各有所长,组合后再融合细节。方法先处理空间对应,再学习怎样补出像样的中间图像。
两款手机看效果,速度要放回GPU条件
测试使用Redmi K50 Ultra和华为Mate 40E采集的真实双摄端点图像,分别100个和50个场景,覆盖0.6至1倍以及0.85至1倍的切换。因为没有真实连续中间画面作标准答案,论文主要用无参考图像、视频质量与颜色连续性指标评估。
图:论文图9第一行比较小米0.6至1倍变焦的端点与多种补帧结果,放大区域呈现边缘细节差异。
这些指标也有陷阱。画面糊掉后,细节变化少了,颜色波动数值反而可能更平稳。作者因此把颜色连续性和感知质量一起看,再展示窗边、栏杆等局部,避免把“糊得稳定”当成平滑变焦。
同样分辨率1632×1216下,ZoomFI推理时间52.1毫秒,轻量版40.9毫秒;对照RIFE为48.7毫秒。主模型并非所有比较里都更快,轻量版则用较低计算量取舍画质与延迟。这些计时来自论文所用GPU实验设置,不能写成手机已经能按这个帧率运行。
项目页已展示双摄变焦对比,代码仓库列出训练、推理和评估入口,但数据集与预训练模型仍标注待提供。可直接观察的进展,是把镜头切换时的位置错位与颜色跳变一起纳入补帧训练,并在两款真实设备的端点图像上检查过渡效果。
参考资料
https://arxiv.org/abs/2610.34854
https://arxiv.org/html/2610.34854