基于哈希的神经视频分解：在空间-时间中使用乘性残差
Hashing Neural Video Decomposition with Multiplicative Residuals in Space-Time
AI总结：
本文提出结合坐标哈希与乘性残差的神经视频分层分解方法，将视频拆分为纹理、遮罩及时空光照残差，实现一次纹理编辑传播至全片，并支持高效优化与71 fps实时渲染。
摘要：
我们提出一种视频分解方法，可对具有时空变化光照和运动效果的视频进行基于图层的编辑。我们的神经模型将输入视频分解为多个分层表示，每个表示包含一张2D纹理图、一个用于原始视频的遮罩，以及一个刻画光照条件时空变化的乘性残差。对纹理图进行一次编辑，便可传播到整个视频帧中的对应位置，同时保持其他内容的一致性。借助坐标哈希，我们的方法能以每帧25秒的速度高效学习1080p视频的基于图层的神经表示，并可在单块GPU上以71 fps实时渲染编辑结果。在定性方面，我们在多种视频上运行该方法，以展示其生成高质量编辑效果的有效性。在定量方面，我们提出采用特征跟踪评估指标，客观评估视频编辑的一致性。项目主页：https://lightbulb12294.github.io/hashing-nvd/
英文摘要：
We present a video decomposition method that facilitates layer-based editing of videos with spatiotemporally varying lighting and motion effects. Our neural model decomposes an input video into multiple layered representations, each comprising a 2D texture map, a mask for the original video, and a multiplicative residual characterizing the spatiotemporal variations in lighting conditions. A single edit on the texture maps can be propagated to the corresponding locations in the entire video frames while preserving other contents' consistencies. Our method efficiently learns the layer-based neural representations of a 1080p video in 25s per frame via coordinate hashing and allows real-time rendering of the edited result at 71 fps on a single GPU. Qualitatively, we run our method on various videos to show its effectiveness in generating high-quality editing effects. Quantitatively, we propose to adopt feature-tracking evaluation metrics for objectively assessing the consistency of video editing. Project page: https://lightbulb12294.github.io/hashing-nvd/
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
