论文导读
中科大、快手团队提出UniGVC,把视频压成同一份码流,再提供两种重建路径:流式播放优先快,回放优先细节。论文中,快速路径以36.85 FPS解码1080p视频,相对高质量路径提速超过250倍。接收端无需重新编码原始数据,就能选择不同的播放方式。
直播和回放,用同一份压缩数据
论文把树木和楼房的原始细节与不同压缩方案重建并排,还用红框标出的时间剖面检查连续画面有没有抖动。它们展示的是视觉重建结果,不能直接当成解码速度证据。
图:树木和楼房案例并列原始细节与多种重建结果,红框时间剖面用来观察连续帧的变化。
直播时,下一帧最好尽快出来;回看时,可以多等一会儿,让画面重建得更细。这两个要求会让视频生成式压缩走向不同路线:只看已经到达的内容,适合持续输出;把整段前后关系一起看,通常更有利于重建质量。
UniGVC把发送和接收分开设计。发送端用共享编码器压缩视频,接收端先恢复供生成器使用的条件,再选择快速或高质量的生成路径。两种模式读取同样的视觉码流和文本信息,切换模式不需要重新压缩视频。
把慢模型的经验教给快模型
高质量路径一次综合一段视频的前后信息,用多步生成逐渐恢复画面。快速路径只能读取一定窗口内的历史内容,以因果方式持续生成,不能等未来画面全部到齐。
团队先让两条路径在相同压缩条件下训练,再把高质量模型作为教师,把快速路径的多步重建压到一步。随后,替换负责从内部表示恢复像素的视频解码器,并进行像素层面的微调。
关键在于快速生成器一直读的是共享压缩条件,而不是只接着自己上一帧的猜测走。论文比较了不同训练方式,展示生成画面在时序稳定和细节上的差别。这里的生成模型帮助补出压缩后难以直接保留的视觉信息,因此输出属于有损重建。
图:流程图显示共享编码条件、两条生成路径及快速路径的蒸馏和像素微调过程。
36.85帧说的是解码
在1080p测试中,高质量路径平均每帧约需7025毫秒,快速路径约27毫秒;未取整测量对应36.85 FPS,速度差超过250倍。它比较的是同一方法两种解码模式,不能写成所有视频压缩都被提速250倍。
发送端编码仍需约86毫秒一帧。这套实验并没有让1080p从采集、编码、传输到重建全链路都达到36.85 FPS。快速路径也有由内部时间下采样带来的四帧输出延迟。
评测使用HEVC-B、UVG和MCL-JCV中的视频,统一取96帧,并比较感知细节、分布指标和时序一致性。论文展示的低码率可到每像素0.0005比特,但这不是逐像素无损恢复;生成结果可能看起来更自然,却仍与原图存在差别。
文本也进码流,开销不能藏起来
除了视觉压缩信息,团队还为每段视频生成一段描述,说明场景、主体、动作和镜头变化。接收端将它作为重建条件,让生成器少猜一些内容。这个描述作为无损压缩的文本传输,模型中的固定质量提示则不需要逐段发送。
实验把文本开销也单独统计。使用预先共享的压缩字典后,序列描述的额外码率约为每像素7.40到9.85乘10的负6次方比特,相对最低视觉码率约增加1.5%到2.0%。
在同样的视觉码流下,加入场景描述改善了两个解码模式的多项感知指标。论文给出的公园案例并列了原始画面、只有通用提示的重建,以及再加入场景描述后的重建,让人能直接看到语义信息参与补细节的作用。代码和模型仍注明将于之后提供,现阶段结果以论文实验为依据。
图:公园案例并列原始画面、仅通用提示重建和加入场景描述后的重建,框线标出骑行者与局部结构。