arXivDaily arXiv每日学术速递 周一至周五更新

PAPERDAILY REPORTS

视频解码快近3倍,商汤等团队保留99.51%的生成评测总分

作者:arXivDaily编辑部 论文中文资料arXiv 2610.14726 cs · cs.CV

论文导读

商汤、北京航空航天大学、南洋理工大学提出LightVAE,压缩视频从内部表示还原成画面的解码步骤。在MiniMax-H3的RTX 5090测试中,解码吞吐量达到原来的2.97倍,同时保留99.51%的VBench-2.0总分。方法把空间细节与时间变化分开处理,并删减部分网络层,减少解码计算。

视频生成完内部表示,还得还原画面

视频模型输出的往往不是可以直接播放的每一个像素。它先在压缩表示中生成,再由视频解码器把结果还原到画面。前面的生成步骤越快,后面的解码就越容易变成显眼的等待。

图:猫、人物、海岸和蜂鸟的时间帧并列比较原始与压缩自编码器输出。

LightVAE把目标放在这一步。MiniMax-H3原始解码器在RTX 5090上为9.85帧每秒,压缩版本为29.23;在H100上则从18.15提高到53.52。相应测试使用124帧、768×1344分辨率的视频片段,比较发生在同一模型与显卡配置内。

这不是说完整视频生成速度也提高近3倍。提示词处理、反复生成压缩表示等步骤仍然存在,解码只占总时间的一部分。论文分别报告解码吞吐与生成质量,不能把其中一个环节的收益直接乘到整个流程上。

少算相邻帧的变化,别先削弱每帧空间细节

视频解码器既要处理一帧里的空间关系,也要处理前后帧的时间关系。LightVAE先把原有计算改写成两部分:当前帧的空间响应,以及由历史帧与当前帧差异带来的时间修正。

图:结构图标出不同解码器的计算块,以及LightVAE保留与删减的部分。

对于适合这种改写的卷积层,方法保留完整的空间映射,把主要压缩放到时间修正上。时间计算的复杂程度可以按层调整,而不是一刀切地让每层完全不看历史。随后,等价的权重整理与历史缓存,把纸面上的计算削减变成实际运行收益。

另一条路径是减少网络深度。Lite版本会删掉一部分计算块,保留剩余块的宽度以及必要连接。压缩完后再利用原解码器的输出与中间反馈恢复质量,避免只追求一个更小、却已经无法对应原来内部表示的网络。

MiniMax-H3的自编码器采用的是不同结构,这里使用块删减,没有使用同一套时间卷积压缩。LightVAE是一个组合框架,各模型得到加速的具体来源要分别看,不能拿一个子模块解释全部实验。

保留99.51%总分,不等于每种画面无损

论文在相同提示词、随机种子和采样设置下,只更换解码器。MiniMax-H3的VBench-2.0总分从66.8832变为66.5546,两者之比是99.51%。这个比值表达的是评测总分的保留,不是99.51%的像素完全相同。

论文还把Wan2.1不同算子的吞吐、显存和重建质量放在一张对照图中。

图:Wan2.1算子对照分别呈现两种显卡吞吐、显存占用和恢复前后PSNR。

重建测试给出了另一面。MiniMax-H3在DAVIS上的PSNR从32.2907降到29.3048,LPIPS也变差。生成评测总分接近,并不能消除重建误差;要保存精细画面与时间细节,还需要看具体任务中的差异。

Wan系列实验提供了更细的选择。Pro保留更多计算,Lite删减更积极,两种版本落在不同的速度与质量位置。论文还报告,Wan2.2的RTX 5090测试中,一种对照在所用81帧设置下显存不足;这与它原论文使用较短片段的条件不同,不能归纳成该方法在所有条件下都运行不了。

项目演示也把原解码器与压缩版本的输出并列,而不是只给一个抽象加速数字。对使用者来说,可比较的是同一组视频的等待、重建差异和显存配置,先把解码这一段的代价单独量出来。

参考资料

https://arxiv.org/abs/2610.14726

https://arxiv.org/html/2610.14726

https://arxiv.org/pdf/2610.14726

https://github.com/ModelTC/LightVAE

https://arxiv.org/src/2610.14726

↑